Использование собственного набора для оценки и обучения в образце cloud-ml-engine

в учебнике по цветам от Google здесь: https://cloud.google.com/ml-engine/docs/tensorflow/flowers-tutorial
Для предварительной обработки данных мы использовали команду dollwoing:

python trainer/preprocess.py \
--input_dict "$DICT_FILE" \
--input_path "gs://cloud-ml-data/img/flower_photos/train_set.csv" \
--output_path "${GCS_PATH}/preproc/train" \
--cloud

Я понимаю, что мы могли бы заменить файл csv нашим собственным списком и, следовательно, тренироваться с другим набором изображений, однако создание файлов csv для более чем 100 типов изображений будет обременительным, есть ли способ преодолеть это?

2
0
207
1

Ответы 1

Train_set.csv - это список путей к файлам в Google Cloud Storage и метка прогноза.

Это часть файла:

gs://cloud-ml-data/img/flower_photos/daisy/754296579_30a9ae018c_n.jpg,daisy
gs://cloud-ml-data/img/flower_photos/dandelion/18089878729_907ed2c7cd_m.jpg,dandelion
gs://cloud-ml-data/img/flower_photos/dandelion/284497199_93a01f48f6.jpg,dandelion
gs://cloud-ml-data/img/flower_photos/dandelion/3554992110_81d8c9b0bd_m.jpg,dandelion
gs://cloud-ml-data/img/flower_photos/daisy/4065883015_4bb6010cb7_n.jpg,daisy
gs://cloud-ml-data/img/flower_photos/roses/7420699022_60fa574524_m.jpg,roses
gs://cloud-ml-data/img/flower_photos/dandelion/4558536575_d43a611bd4_n.jpg,dandelion
gs://cloud-ml-data/img/flower_photos/daisy/7568630428_8cf0fc16ff_n.jpg,daisy
gs://cloud-ml-data/img/flower_photos/tulips/7064813645_f7f48fb527.jpg,tulips
gs://cloud-ml-data/img/flower_photos/sunflowers/4933229095_f7e4218b28.jpg,sunflowers
gs://cloud-ml-data/img/flower_photos/daisy/14523675369_97c31d0b5b.jpg,daisy
gs://cloud-ml-data/img/flower_photos/sunflowers/21518663809_3d69f5b995_n.jpg,sunflowers
gs://cloud-ml-data/img/flower_photos/dandelion/15782158700_3b9bf7d33e_m.jpg,dandelion
gs://cloud-ml-data/img/flower_photos/tulips/8713398906_28e59a225a_n.jpg,tulips
gs://cloud-ml-data/img/flower_photos/tulips/6770436217_281da51e49_n.jpg,tulips
gs://cloud-ml-data/img/flower_photos/dandelion/8754822932_948afc7cef.jpg,dandelion
gs://cloud-ml-data/img/flower_photos/daisy/22873310415_3a5674ec10_m.jpg,daisy
gs://cloud-ml-data/img/flower_photos/sunflowers/5967283168_90dd4daf28_n.jpg,sunflowers

Таким образом, вам нужно будет собрать набор изображений для вашего собственного поезда, загрузить его в GCS и классифицировать их. Затем вам просто нужно получить список путей (это можно легко сделать с помощью команды gsutil ls) и объединить с меткой классификации.

Другие вопросы по теме

Похожие вопросы

Модель tensorflow lstm не предсказывает результаты
При подписании jwt, созданного с помощью json учетной записи службы gcp для iap, возникает ошибка: «в знаке () отсутствует 1 обязательный позиционный аргумент:« алгоритм »
Tensorflow 2 kernel_regularizer выдает синтаксическую ошибку на рабочем столе, но отлично работает в google colabo.
Можем ли мы запустить jar в виртуальной машине gcp из облачной функции
Как правильно объединить 2 массива как 2 канала изображения и передать их в cnn?
Невозможно преобразовать символьный тензор в массив numpy. эта ошибка может указывать на то, что вы пытаетесь передать tensor вызову numpy, который не поддерживается.
Как я могу импортировать модель тензорного потока .tf в изобретатель приложений mit?
Проблема, возникающая при использовании imds = imagedatastore на matlab r2017b. вчера он работал, а теперь не работает
Невозможно преобразовать массив numpy как тензор для ввода
Python - проектирование круга с помощью camera.camera class