Я пытаюсь обучить маска rcnn модель с помощью Keras в моем собственном наборе данных на экземпляре p2.xlarge EC2 aws.
Когда я запускаю обучение, после нескольких этапов обучения:
Epoch 1/1 2/1000 [..............................] - ETA: 4:27:49 - loss: 5.1578 - rpn_class_loss: 0.0937 - rpn_bbox_loss: 0.6471 - mrcnn_class_loss: 2.6594 - mrcnn_bbox_loss: 1.1266 - mrcnn_mask_loss:
0.6311
Я получаю это сообщение об ошибке:
2018-05-02 13:44:56.193439: F ./tensorflow/core/util/cuda_launch_config.h:127] Check failed: work_element_count > 0 (0 vs. 0)
Мои изображения относительно небольшие (~ 100 КБ), мало изображений в моем наборе данных (~ 150).
Конфигурация, которую я использую, выглядит следующим образом:
class CustomConfig(Config):
"""Configuration for training on the custom dataset.
Derives from the base Config class
"""
# Give the configuration a recognizable name
NAME = "blabla"
# We use a GPU with 12GB memory, which can fit two images.
# Adjust down if you use a smaller GPU.
IMAGES_PER_GPU = 2
# Number of classes (including background)
NUM_CLASSES = 11
Любое предложение ? Спасибо !
Я понизил версию своего пакета tensorflow-gpu до 1.7.0, и он сработал
Если я не ошибаюсь, репозиторий github явно запрашивает версию tenorflow 1.5
У меня такая же проблема с tenorflow 1.12 в Windows 10.