Есть ли более быстрый способ сжать файлы/сделать архив в Python?

Я делаю архив папки, в которой около 1 ГБ файлов. Это занимает 1-2 минуты, но я хочу, чтобы это было быстрее.

Я делаю приложение пользовательского интерфейса на Python, которое позволяет вам ZIP-файлы (это проект, я знаю, что существуют такие вещи, как 7Zip, лол), и я использую папку с ~ 1 ГБ файлов в ней, как я уже сказал. Программа не принимает файлы размером более 5 ГБ из-за скорости.

Вот как я сжимаю/архивирую папку: shutil.make_archive('files_archive', 'zip', 'folder_to_archive')

Я знаю, что могу изменить формат, но я не уверен, какой из них быстрый и может хорошо сжимать.

Итак, моя конечная цель — быстро сжимать файлы, а также уменьшать их размер.

tar, вероятно, самый быстрый, но также практически не обеспечивает сжатия. в противном случае zip, вероятно, будет вторым

— 01.01.2023 12:29

«Хорошо, папка должна быть меньше 5 ГБ». «Я делаю архив папки, в которой находится около 1 ГБ файлов». Я не могу понять. Папка уже не соответствует требованиям? Поэтому, почему мы должны что-то делать? Пожалуйста, прочитайте Как спросить и stackoverflow.com/help/on-topic и постарайтесь определить четкие требования. "Вот как я сжимаю/архивирую папку: Shutil.make_archive('files_archive', 'zip', 'folder_to_archive')" Итак, что не так с этим подходом?

— 01.01.2023 12:50

python python-3.x shutil

01.01.2023 11:13

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Shutil.make_archive предлагает zip, tar, gztar, bztar или xztar в качестве форматов архивов.

tar несжатый, поэтому будет быстрее, но без сжатия.

Если вы хотите иметь более быстрое сжатие, чем встроенные форматы, вам понадобится внешняя команда.

Распространенный алгоритм быстрого сжатия — LZ4.

Я рекомендую вам заглянуть на https://morotti.github.io/lzbench-web/ для различных алгоритмов сжатия и их коэффициента сжатия по скорости.

Но вам, скорее всего, придется сравнивать выборку собственных данных.

Как поместить LZ4 в make_archive? Когда я попробовал это, он сказал unknown archive format 'lz4'. Я прочитал ваш ответ и знаю, что LZ4 - это алгоритм, а не формат, но я решил попробовать.

— 01.01.2023 13:06

Если вы хотите придерживаться shutil.make_archive, вам нужно создать функцию архивации, похожую на _make_tarball или _make_zipfile для LZ4, и зарегистрировать ее с помощью Shutil.register_archive_format, в противном случае создайте tar-архив и запустите lz4 внешне с подпроцессом.

— 01.01.2023 13:34

01.01.2023 12:34