Как добавить переменные среды в bash, открытый модулем подпроцесса?
Мне нужно использовать wget в сценарии Python с функцией subprocess.call, но похоже, что команда «wget» не может быть идентифицирована подпроцессом bash, открытым с помощью python.
Я добавил переменную окружения (путь, по которому находится wget):
export PATH=/usr/local/bin:$PATH
в файл ~ / .bashrc и файл ~ / .bash_profile на моем Mac и гарантированно получил их. А скрипт на Python выглядит так:
import subprocess as sp
cmd = 'wget'
process = sp.Popen(cmd ,stdout=sp.PIPE, stdin=sp.PIPE,
stderr=sp.PIPE, shell=True ,executable='/bin/bash')
(stdoutdata, stderrdata) = process.communicate()
print stdoutdata, stderrdata
Ожидаемый результат должен быть таким
wget: missing URL
Usage: wget [OPTION]... [URL]...
Но результат всегда
/bin/bash: wget: command not found
Интересно, что я могу получить справку, если наберу wget прямо в терминале bash, но он никогда не работает в скрипте python. Как это могло произойти?
PS:
Если я изменю команду на
cmd = '/usr/local/bin/wget'
тогда это работает. Так что я уверен, что у меня установлен wget.
Можете ли вы запустить wget из своей оболочки? этот код работал у меня.
Код у меня тоже работает. Если использование wget не является жестким требованием, я предлагаю вам проверить requests: docs.python-requests.org/en/master
Спасибо за советы. Я надеюсь сначала сделать выборку данных машинного обучения с помощью Python, загрузить их, а затем провести некоторый анализ файлов, поэтому я надеюсь добавить часть загрузки в скрипт, а не открывать для этого bash. Что касается запросов, мне нужно загрузить данные об уровне ТБ, поэтому запросы, вероятно, будут слишком медленными для этого.
Ответы 1
Вы можете передать аргумент env= функциям subprocess.
import os
myenv = os.environ.copy
myenv['PATH'] = '/usr/local/bin:' + myenv['PATH']
subprocess.run(..., env=myenv)
Однако вы, вероятно, захотите вообще избежать запуска оболочки и вместо этого расширить PATH, который Python использует для поиска двоичного файла для запуска в вызове подпроцесса.
import subprocess as sp
import os
os.environ['PATH'] = '/usr/local/bin:' + os.environ['PATH']
cmd = 'wget'
# use run instead of Popen
# don't needlessly use a shell
# and thus put [cmd] as a list
process = sp.run([cmd], stdout=sp.PIPE, stdin=sp.PIPE,
stderr=sp.PIPE,
universal_newlines=True)
print(process.stdout, process.stderr)
Запуск команд Bash в Python объясняет внесенные мной изменения более подробно.
Однако нет веских причин использовать для этого внешнюю утилиту; Python requests делает почти все, что делает wget, часто более естественно и с большим контролем над тем, что именно он делает.
Спасибо, это решает мой вопрос. Оказывается, консоль IPython не разделяет переменные среды с bash, и мне нужно добавить их перед вызовом оболочки. Что касается модуля запросов, мне нужно загрузить тысячи файлов изображений из базы данных, и wget кажется намного быстрее, чем модуль запросов (который, в конце концов, основан на Java)
requests не основан на Java. Я впервые слышу о проблемах со скоростью с ним; конечно, вы можете переключиться на что-то вроде библиотеки async, если ваша проблема связана с задержкой. Вот хороший блог об этом: pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/…
Как вы запускаете скрипт Python, т.е. напрямую или через cron (или аналогично)?