Создание списка модулей из всех файлов .py и установка без указания версии модуля
У меня есть сотни файлов Python, и мне нужно установить все существующие модули, я подумал, что создам файл со всеми именами модулей, которые импортируются в файлы:
import os
def remove_duplicates():
lines = open('all_modules.txt', 'r').readlines()
lines_set = set(lines)
out = open('all_modules.txt', 'w')
for line in lines_set:
out.write(line)
def main():
fileDir = r"C:\Users\Computador\Desktop\tests vscode"
fileExt = r".py"
py_file_list = [_ for _ in os.listdir(fileDir) if _.endswith(fileExt)]
with open('all_modules.txt', 'w+', newline='', encoding='UTF-8') as f:
for py_file in py_file_list:
with open(py_file) as stacktest:
stacktest_list = [line.strip() for line in stacktest.readlines()]
for line in stacktest_list:
if 'import ' in line and "'" not in line:
after_import = line.split('import ',1)[1]
before_space = after_import.split(' ')[0]
before_comma = before_space.split(',')[0]
f.write(before_comma + '\n')
remove_duplicates()
if __name__ == '__main__':
main()
Пример результата в all_modules.txt:
pandas
time
dataframe_image
webbrowser
num2words
glob
Pool
schedule
move
csv
os
feedparser
Но для установки с помощью pip install с помощью requirements.txt необходимо иметь ту версию модуля, которую я хочу установить, в этом случае компьютер полностью чист, и я хочу последнюю версию всех модулей.
Есть ли способ установить эти модули сразу без необходимости писать по одному вручную?
ваш подход не будет работать на 100% надежно, потому что имена в операторах import не обязательно совпадают с именем пакета в PyPI, индексом пакета для pip
«Но для установки с помощью pip install с использованием requirements.txt необходимо иметь версию модуля, который я хочу установить» ... это неправда, вы можете просто попробовать pip install -r all_modules.txt ... он попытается установить последнюю версию каждый, некоторые могут быть не найдены из-за несоответствия имени
Привет @shaikmoeed, когда я выполняю эту команду, в созданном списке всего 6 модулей, многие отсутствуют, я не знаю почему.
О, я вижу @Anentropic, я не обратил внимания на эту указанную вами деталь, я сделаю это так, некоторые на самом деле не будут установлены, но это решит проблему!
pip freeze выведет список пакетов, установленных в настоящее время в вашей системе. Если вы используете virtualenv, это будет только для активного в данный момент виртуального окружения.
Если вы хотите иметь свои собственные модули/пакеты, используйте setup.py для создания соответствующих файлов колес. И используйте их для установки в любой среде Python.
Привет @Anentropic, используя то, как вы прокомментировали, я обнаружил две ошибки ERROR: Could not find a version that satisfies the requirement json (from versions: none) ERROR: No matching distribution found for json Не могли бы вы мне помочь? Это настоящий модуль, который правильно устанавливается вручную с помощью pip install dataframe_image
json не нужно устанавливать pip, это часть stdlib python
@shaikmoeed на случай, если у меня не установлены какие-либо модули, это абсолютно чистая машина, поэтому я ищу способ легко получить все возможные модули из папки.
Действительно @Anentropic, моя ошибка при чтении терминала, я перепутал позицию ошибки. Ваше указание отлично сработало для моих нужд, если вы хотите создать с ним ответ, чтобы я мог закрыть вопрос, спасибо!
Ответы 1
But to install with pip install using requirements.txt it is necessary to have the version of the module I want to install
Это не правда. Вы можете взять сгенерированный файл и запустить pip install -r all_modules.txt
Pip просмотрит каждое имя в файле и попытается установить последнюю доступную версию (это может быть не та версия, которую вы использовали при первоначальном написании кода — что-то может не сработать, но он, по крайней мере, установит пакет).
Другие проблемы, с которыми вы, вероятно, столкнетесь:
- имена в вашем файле извлекаются из операторов
import, но имя импорта пакета не обязательно совпадает с именем пакета в PyPI, который вам нужно установить. - вы найдете некоторые импортированные пакеты, которые не нужно устанавливать в pip, например, пакеты из Python stdlib или из других модулей в вашем собственном проекте... они выдадут ошибку, когда вы попытаетесь установить их в pip - или, что еще хуже, вы можете установить другой пакет с тем же именем, который существует в PyPI по совпадению
почему бы не использовать cmd
pip freeze > requirements.txt?