Есть ли достойный обходной путь для сохранения контрольных точек на локальном диске при использовании TPU в Tensorflow?

Продолжение этого вопроса:

Как сохранить файл контрольной точки Tensorflow из Google Colaboratory в режиме TPU?

Официальным способом сохранения контрольной точки при использовании Tensorflow TPU является использование облачной службы Google.

Я работаю, если есть обходной путь для тех, кто не хочет использовать GCS. Возможно, для каждой переменной выполните .eval (), сохраните переменную. Затем установите для переменной сохранения значение «init» для каждой переменной.

Однако я предвижу серьезную проблему - это сохранение и загрузка параметров для оптимизаторов.

Для Кераса, кажется, что веса сохранены из TPU в локальный

https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/shakespeare_with_tpu_and_keras.ipynb

INFO:tensorflow:Copying TPU weights to the CPU

Итак, я полагаю, что есть общий обходной путь без использования keras.

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
6
0
978
1

Ответы 1

Взгляните на ЭТОТ КОД от Кераса

Если я правильно понял, веса не сохраняются напрямую из TPU, вместо этого веса синхронизируются с процессором и сохраняются в хранилище colab.

РЕДАКТИРОВАТЬ

См. Также: этот ответ.

Другие вопросы по теме