Проблема с Python 2.7 bz2.decompress (невозможно прочитать весь файл)

У меня возникают проблемы при распаковке файлов bz2 в python. У меня такая же проблема в Windows 7 и красной шляпе. Оба используют дистрибутивы Python 2.7 Anaconda.

python -V
Python 2.7.14 :: Anaconda custom (64-bit)


C:\Users\XXXXX>python -V
Python 2.7.14 :: Anaconda, Inc.

Когда я читаю файл bz2, я получаю только первые 900 КБ файлов:

                    sftp = client.open_sftp()
                    with sftp.file(path, 'rb') as f:
                        if ".bz2" in path:
                            u = f.read()
                    client.close()


                    client.open_sftp()
                    s = bz2.decompress(u).split("\n")
                    stdin, stdout, stderr = client.exec_command('bzcat %s' % path)
                    s2 = stdout.readlines()
                    client.close()

bz2.decompress дает мне только первые 900000 байт. s2 почти всегда больше, чем s.

Это верно независимо от того, в какой среде я выберу Read hat или Windows.

У кого-нибудь есть ключ ?

Спасибо

вы можете попробовать новейший питон, например 3.6

Jean-François Fabre 07.05.2018 15:40

Спасибо, это масштабный проект, сейчас я не могу изменить версию python.

Mr_Kaz 07.05.2018 15:42

вы проверили данные? это по крайней мере правильно? (я имею в виду начало данных)

Jean-François Fabre 07.05.2018 15:56

да, запрос bzcat отлично работает ...

Mr_Kaz 07.05.2018 19:45

вы мог пробуете с новейшей версией в небольшом примере, подобном тому, который вы показываете. В противном случае можно будет использовать bzcat, как и вы.

Jean-François Fabre 07.05.2018 20:34

Спасибо за ваш комментарий. Не хочу сейчас устанавливать 3.6. Я не ищу другого обходного пути, кроме того, который я уже установил. Тем не менее, встроенная функция в Python 2.7 никогда не должна давать сбоев. Я думаю, что это серьезная ошибка (если, конечно, я правильно использую).

Mr_Kaz 08.05.2018 20:27
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
0
6
234
1

Ответы 1

Вы также можете проверить, является ли ваш bzip-файл многопоточным, поскольку модуль bz2 python2 не поддерживает декодирование многопоточных файлов bzip (он будет декодировать только первый поток, усекая все другие потоки).

Смотрите также: https://docs.python.org/2/library/bz2.html#bz2.BZ2File

Другие вопросы по теме