У меня есть несколько вопросов по API обнаружения объектов Tensorflow.
Во время тренировки сохраняются только предыдущие 5 контрольных точек. Я хочу сохранить больше, скажем, предыдущие 10 контрольных точек. Как это может быть сделано? (Я думаю, это должен быть один из параметров train.proto
в object_detection / protos.)
По умолчанию контрольные точки сохраняются каждые 10 минут (600 секунд). Чтобы изменить эту частоту, я считаю, что необходимо изменить один из этих двух параметров, пожалуйста, подтвердите, какой именно:
из learning.py
в
/home/user/tensorflow-gpu/lib/python3.5/site-packages/tensorflow/contrib/slim/python/slim
save_summaries_secs=600
или
save_interval_secs=600
Во время обучения моей модели (ssd_mobilenet_v2_coco_2018_03_29) я также одновременно запускаю оценку. Последняя контрольная точка, представленная на графике eval, всегда отстает от последней, сохраненной в папке object_detection / обучение. Например, в приведенном ниже случае последняя контрольная точка, показанная на графике, составляет 29,437k, тогда как модель уже обучена до контрольной точки 32,891k (и сохранена в папке подготовка). В чем причина этого отставания (отставание 20 минут). Почему одного шага (10 минут) недостаточно для выполнения оценки на обученной модели?
Для второго пункта у меня сработало это решение: github.com/tensorflow/models/issues/5139#issuecomment-418963 839. Например, чтобы сохранить модель после каждых 1000 шагов, измените строку (указанную в решении в ссылке) с "config = tf.estimator.RunConfig (model_dir = FLAGS.model_dir)" на "config = tf.estimator". .RunConfig (model_dir = FLAGS.model_dir, save_checkpoints_steps = 1000) "
Этот пост здесь должен работать, я считаю, что изменит keep_checkpoint_every_n_hours max_to_keep
Вы также можете сослаться на официальный документ https://www.tensorflow.org/api_docs/python/tf/train/Saver
Это для всех, кто хочет настроить обновленный API обнаружения объектов, поддерживающий TensorFlow 2.
Вот фрагмент кода после настройки частоты сохранения контрольной точки в model_main.py:
def main(unused_argv):
flags.mark_flag_as_required('model_dir')
flags.mark_flag_as_required('pipeline_config_path')
config = tf.estimator.RunConfig(model_dir=FLAGS.model_dir, save_checkpoints_secs=3600)
please note that there is a parameter keep_checkpoint_max in the tf.estimator.RunConfig class but setting it didn't affect the number of saved checkpoints for me.
Этот пост здесь должен работать, я считаю, что изменит keep_checkpoint_every_n_hours