Как использовать io.BytesIO в Python для записи в существующий буфер?
Согласно Как работают методы write(), read() и getvalue() Python io.BytesIO? , кажется, io.BytesIO скопирует предоставленные начальные байты.
У меня есть буфер, и я хочу pickle напрямую сбросить объект в этот буфер, без копирования. Поэтому я попробовал использовать f = io.BytesIO(buffer). Однако после f.write мой buffer не изменяется.
Вот пример:
a = bytearray(1024)
import io
b = io.BytesIO(memoryview(a))
b.write(b"1234")
a[:4] # a does not change
Я хочу, чтобы io.BytesIO записывал напрямую в мой буфер.
Моя конечная цель:
a = bytearray(1024)
import io, pickle
with io.BytesIO(memoryview(a)) as f:
obj = [1, 2, 3]
pickle.dump(obj, f)
# a should hold the pickled data of obj
@КлаусД. спасибо за ваш быстрый ответ. Знаете ли вы какой-нибудь файлоподобный объект для записи в предоставленную память?
В чем причина использования memoryview вместо bytearray?
@nocomment, можешь попробовать. Непосредственный переход bytearray приведет к ошибке.
Я пытался. Нет ошибки.
Действительно, memoryview не обязателен. Виноват. Я не помню, когда это необходимо.
Ответы 1
IIUC вы можете попробовать создать свой собственный класс IO:
import io
import pickle
class MyIO(io.IOBase):
def __init__(self, buf):
self.buf = memoryview(buf)
self.position = 0
def write(self, b):
start = self.position
n = len(b)
end = start + n
self.buf[start: end] = b
self.position = end
a = bytearray(1024)
with MyIO(a) as f:
obj = [1, 2, 3]
pickle.dump(obj, f)
print(a)
Распечатки:
bytearray(b'\x80\x04\x95\x0b\x00\x00\x00\x00\x00\x00\x00]\x94(K\x01K\x02K\x03e.\x00\x00\x00 ...
Вероятно, это правильная идея, но для разумного поведения вам потребуется реализовать логику смещения (сказать/поиск) и проверку границ. Методы записи также обычно возвращают количество успешно записанных байтов.
Это одно из возможных решений. Но я боюсь, что внедрение этой логики в Python будет медленным. Еще одна проблема: я не хочу изобретать велосипед. Кажется, это частое использование, поэтому я хочу знать, есть ли какие-либо существующие решения.
@youkaichao Это просто копирование байтов в уже выделенный байтовый массив (в любом случае это реализовано в C), это должно быть быстро.
@AndrejKesely отлично. Я принял ваш ответ. Просто хочу знать, делает ли это какая-либо встроенная функция Python, чтобы я не изобретал велосипед заново.
Если вы продолжите использовать memoryview (я не знаю, почему OP это сделал), я думаю, вы могли бы использовать self.buf[:n] = b и self.buf = self.buf[n:] вместо того, чтобы иметь дело с position.
BytesIOне является объектом сквозной записи. Это файлоподобный объект в памяти со своим собственным хранилищем.