Оптимизация и пакетирование данных байтового файла в модели keras

Я пытаюсь наполнить свой model.fit фрагментированными данными, поскольку весь мой набор данных не умещается в моей памяти. Версия TF - 2.4.

Я оптимизировал набор данных, хранящийся в файле, сохранив его в байтах, каждый столбец составляет 1 байт (0-255), но теперь мне нужно прочитать его по частям и начать процесс изучения моей сети.

Раньше я использовал .csv, загружал набор данных с помощью numpy reshape, а затем передавал весь набор данных модели keras.

Должен ли я использовать .fit для каждого фрагмента, загружаемого с помощью load_weight из предыдущей итерации?

Когда данные не помещаются в память, обычно используется Генераторы наборов данных TF. Генератор позволяет загружать данные поэтапно. Вы об этом думали?

Ivan K. 31.03.2021 19:11

Я посмотрю, спасибо за информацию

TheEnigmist 31.03.2021 22:34

@IvanK. Я читал о генераторах наборов данных TF, но не могу найти учебник о том, как загружать текущие данные. У меня есть функция, которая может правильно воссоздать мой набор данных из этого файла, но она читает весь файл от начала до конца. Есть ли способ использовать ту же функцию, которая загружает данные частично каждый batch_size / bytes ecc?

TheEnigmist 05.04.2021 23:30

Можете ли вы превратить свою функцию в генератор? То есть при чтении всего файла производить выборку данных по выборке (с использованием python yield)?

Ivan K. 06.04.2021 12:07
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
0
4
18
0

Другие вопросы по теме

Применение аффинных преобразований к изображениям в TensorFlow2
Специальная конструкция ядра GPflow 2: отлично при построении, но размер ядра отсутствует при оптимизации
Старая версия Tensorflow
Tensorflow = 2.4.0: PackagesNotFoundError: Следующие пакеты недоступны по текущим каналам:
Задача машинного обучения классификатора изображений
Невозможно запустить код Python на машине с графическим процессором при удаленном подключении через SSH Visual Studio, но тот же код отлично работает на этой машине
Как визуализировать вложенный `tf.keras.Model (SubClassed API)` GAN mdeol с plot_model?
Расширенные изображения не хранятся в собственном каталоге классов с необработанными данными, которые представлены в папке поезда
Как проверить, имеет ли Tensorflow Lite Tensor динамический или статический размер, как насчет HasDynamicTensorImpl
Как получить координаты лучшего объекта, обнаруженного с помощью tensorflow 2?