Объединение файлов на диске в Python
Я пытаюсь объединить пары ключ-значение, хранящиеся в нескольких файлах. Сами файлы большие, поэтому я хочу сделать это в памяти. Файлы отсортированы и содержат по одной паре ключ-значение в строке, поэтому обычное слияние k-way будет работать, но я не знаю, как перебирать файлы вместе. Кроме того, если я сталкиваюсь с несколькими точками данных с одинаковыми ключами, я хочу объединить их (сложить их значения вместе), поэтому простое решение в Реализация внешней сортировки слиянием не работает. Я пробовал использовать строки чтения для перебора файлы и хранение индексов, но линии чтения загружают весь файл в память, поэтому он не соответствует моим потребностям. Как пояснили в комментариях, вопрос сводится к чтению последовательных строк из нескольких файлов без использования цикла for line in file.
Похоже, вы забыли опубликовать код, с которым у вас проблемы MRE
@JohnGordon Проблема в том, что я знаю, что для перебора IOstream используется цикл for, но я не могу делать это по одному для нескольких файлов, как мне нужно для слияния k-way
Вы можете вызвать file.readline(), чтобы прочитать одну строчку. Это та часть, которую вам не хватает?
вы можете одновременно открыть N файлов, поместить их в список, и вы можете прочитать байт или строку из любого открытого файла, обязательно закройте все открытые файлы
@JohnGordon Да, это именно то, что мне нужно! Спасибо! Если бы вы могли назвать это ответом, я бы это принял.
Ответы 1
Кажется, ваш настоящий вопрос был: «Как мне произвольно прочитать следующую строку из файла, не используя цикл for line in file?»
Ответ на это file.readline().
Или просто next(file), что, я бы сказал, более идиоматично.
@juanpa.arrivillaga Или просто используйте heapq.merge вместо того, чтобы пытаться его переопределить, тогда у них даже не возникнет этой проблемы.
readlines считывает весь файл в память, поэтому это не удовлетворяет моим потребностям. Поэтому читайте по одной строке за раз. В чем сложность?