Я пытаюсь наполнить свой model.fit фрагментированными данными, поскольку весь мой набор данных не умещается в моей памяти. Версия TF - 2.4.
Я оптимизировал набор данных, хранящийся в файле, сохранив его в байтах, каждый столбец составляет 1 байт (0-255), но теперь мне нужно прочитать его по частям и начать процесс изучения моей сети.
Раньше я использовал .csv, загружал набор данных с помощью numpy reshape, а затем передавал весь набор данных модели keras.
Должен ли я использовать .fit
для каждого фрагмента, загружаемого с помощью load_weight
из предыдущей итерации?
Я посмотрю, спасибо за информацию
@IvanK. Я читал о генераторах наборов данных TF, но не могу найти учебник о том, как загружать текущие данные. У меня есть функция, которая может правильно воссоздать мой набор данных из этого файла, но она читает весь файл от начала до конца. Есть ли способ использовать ту же функцию, которая загружает данные частично каждый batch_size / bytes ecc?
Можете ли вы превратить свою функцию в генератор? То есть при чтении всего файла производить выборку данных по выборке (с использованием python yield
)?
Когда данные не помещаются в память, обычно используется Генераторы наборов данных TF. Генератор позволяет загружать данные поэтапно. Вы об этом думали?