Писать и читать двоичные данные в Python

Я пытаюсь записать массив данных в двоичный файл с намерением позже получить доступ к этому файлу для поиска данных. Я поискал в Интернете несколько методов сохранения данных с помощью df.to_pickle, struct.pack, np.to_bytes(). Теперь наступает часть чтения. Я нашел другие сообщения с просьбой прочитать, но пока ни одно из них не помогло получить данные. У меня сложилось впечатление, что это может быть связано с тем, как я сжимаю данные.

формат данных

      0      1      2     3     .      .      .    n
0   
1  -0.111 
2   0.84   0.1
3   0.25   0.6   -0.2
.
.
.
n

Это набор данных сравнения, поэтому при пересечении переменных он равен 1. Из-за ограничений выделения памяти и размера данных это привело к созданию такой таблицы данных в текстовом файле. Сохранение в памяти было невозможно, так как n может быть очень большим.

Чтобы преобразовать в двоичный формат, я читаю каждую строку текста, преобразую значения в правильный формат и затем использую numpy.array.tobytes().

save_path = Path(save_loc)
save_data = save_path.open()
with load_data_path.open() as data_chunk:
    for idx, data in enumerate(data_chunk,0):
        if idx == 0:
           save_data.write(b"\n")
           continue
        dlist = data.strip("\n").split(",")
        d_array = [np.float64(x) for x in dlist]
        save_data.write(d_array.tobytes())
save_data.close()

для чтения данных я попытался использовать np.frombuffer и struct.unpack, но оба привели к ошибкам. Кроме того, насколько я понимаю, чтение затянет все данные в память, что не подойдет для моих данных. Я решил открыть двоичный файл, используя путь, найдя строку и прочитав ее напрямую. Вот код

find_line = 7984
load_data = Path(data_loc)
with load_data.open("rb") as data_chunk:
     for idx, data in enumerate(data_chunk,0):
         if idx < find_line:
              continue
         else:
              my_line = np.frombuffer(data, "f", idx)
              break

однако это приводит к ошибке

ValueError: buffer is smaller than requested size

редактировать: В ходе дальнейшего расследования я обнаружил в своем коде три проблемы. 1 заключается в том, что мое форматирование было неправильным при использовании frombuffer. Поскольку я кодирую как np.float64, вызов «f» пытается вернуть float32.

во-вторых, я предполагал, что запись двоичного файла сохранит блоки записи (с разделителем «\n» для каждого блока), но это не так, поскольку, когда я попытался просмотреть свои первые несколько строк, в каждой из них было 2000 бит, хотя их должно быть всего ~16.

наконец, кажется, что «\n» добавляется где-то в процесс, поскольку при загрузке дальше по списку я нахожу больше значений «\n», которые разбивают байты. Мне нужно загрузить ~60 000 байт, но разрывы строк возвращают только ~2500 байт.