Как я могу записать в файл png / tiff патч за патчем?

Краткий ответ на вопрос «есть ли в Python способ записи в файл png или tiff патчами?». Что ж, да - в Python все возможно, если учесть достаточно времени и навыков, чтобы это реализовать. С другой стороны, НЕТ, готового решения для этого нет - потому что это не кажется очень полезным.

Я не знаю о TIFF, и в комментарии здесь говорится, что он ограничен 4 ГБ, поэтому этот формат, вероятно, не является хорошим кандидатом. PNG не имеет практических ограничений, и может записывается кусками, поэтому теоретически это выполнимо - при условии, что хотя бы одна строка развертки полученного изображения помещается в память.

Если вы В самом деле хотите продолжить, вот информация, которая вам нужна: Файл PNG состоит из нескольких фрагментов метаданных и серии фрагментов данных изображения. Последние не зависят друг от друга, и поэтому вы можете создать большое изображение из нескольких меньших изображений (каждое из которых содержит целое количество строк, минимум одну строку), просто объединив их блоки данных изображения (IDAT) вместе и добавив необходимые фрагменты метаданных (вы можете выбрать их из первого небольшого изображения, за исключением фрагмента IHDR - он должен быть сконструирован таким образом, чтобы он содержал окончательный размер изображения).

Итак, вот как я бы это сделал, если бы мне пришлось (ПРИМЕЧАНИЕ, вам понадобится некоторое понимание типа Python bytes и методов преобразования байтовых последовательностей в типы данных Python и из них, чтобы осуществить это):

• найдите, сколько строк я могу уместить в памяти, и сделайте это высотой моего «маленького фрагмента изображения». Ширина - это ширина всего окончательного изображения. назовем их width и small_height

• просмотреть мой гигантский набор данных в h5py по одному фрагменту (width * small_height), преобразовать его в PNG и сохранить на диск во временном файле или, если ваша библиотека преобразования изображений это позволяет, - непосредственно в строку bytes в памяти. Затем обработайте байтовые данные следующим образом и удалите их в конце:

  - на первой итерации: просматривайте данные PNG по одной записи за раз (см. спецификацию PNG: http://www.libpng.org/pub/png/spec/1.2/png-1.2-pdg.html, это в форме значения тега длины и очень легко написать код, который эффективно перемещается по записи файла за записью) , сохраните ВСЕ записи в мой целевой файл, Кроме: измените IHDR, чтобы получить окончательный размер изображения, и пропустите запись IEND.

  - на всех последующих итерациях: просканируйте данные PNG и выберите только записи IDAT, запишите их в выходной файл.

• добавить запись IEND в целевой файл.

Все готово - теперь у вас должен быть действительный огромный PNG. Хотя мне интересно, кто или что мог это прочитать.

Попробуйте tifffile.memmap:

from tifffile import memmap

image_file = memmap('temp.tif', shape=(height, width), dtype=image_arr.dtype,
                    bigtiff=True)

for y in range(0, height, patch_size):
    for x in range(0, width, patch_size):
        y2 = min(y + patch_size, height)
        x2 = min(x + patch_size, width)
        image_file[y:y2, x:x2] = image_arr[y:y2, x:x2]

image_file.flush()

Это создает несжатый файл BigTIFF с одной полосой. Плитки с отображением в память еще не реализованы. Не уверен, сколько библиотек могут обрабатывать такие файлы, но вы всегда можете напрямую читать из полосы, используя метаданные в тегах TIFF.