Как передать аргументы, содержащие круглые скобки, в команду выполнения aws ecs с помощью python subprocess.run?
Цель: использовать aws cli в вызове subprocess.run для выполнения команды в контейнере выполняемой задачи.
Пример использования:
task_arn = 'a_task_arn'
arg = event = {'something': 'that contains ( )'}
# Attempt 1: json string
arg = json.dumps(arg)
subprocess_cmd = 'aws ecs execute-command --command "python -m task.function {arg}" --interactive --task {task_arn} --container Container'
subprocess.run(subprocess_cmd, shell=True
# Attempt 2: encoded json string
arg = json.dumps(arg).encode('utf-8')
subprocess_cmd = 'aws ecs execute-command --command "python -m task.function {arg}" --interactive --task {task_arn} --container Container'
subprocess.run(subprocess_cmd, shell=True
Обнаружена ошибка: /bin/sh: 1: Syntax error: "(" unexpected
Я пытаюсь использовать cli через вызов subprocess.run вместо использования команды boto3execute_command, потому что
- не похоже, что существует простой способ прочитать возвраты веб-сокета boto3: https://github.com/boto/boto3/issues/3496,
- как указано в этом ответе SO, он возвращает только очень небольшую часть сообщения веб-сокета: Как я могу получить выходные данные из boto3 ecs Execute_command?
Использование subprocess.run для передачи аргументов, содержащих круглые скобки, в скрипты Python отлично работает как с использованием строки json, так и с закодированной строкой json. Думаю, я тестировал то же самое с помощью docker exec, и это сработало, но попробую воспроизвести это. Пока что проблема возникает только при использовании aws cli.
Я могу передать как строку json, так и закодированную версию при использовании docker exec на моем локальном компьютере.
Я неправильно понимаю, но разве вы на самом деле не показываете нам свой subprocess.run() звонок? «Попытки решения» показывают нам строки, но не код Python, который сообщает нам, что вы делаете с этими строками. Убедитесь, что вы показываете минимально воспроизводимый пример — код достаточно полный, чтобы мы могли использовать его для решения той же проблемы самостоятельно, без необходимости внесения изменений или дополнений.
Фактический вызов — это любая из попыток, переданных subprocess.run(subprocess_cmd, shell=True). Однако я обновлю вопрос.
Полная команда должна включать aws ecs execute-command ..., но я попробую ваши предложения.
Ответы 1
Большим преимуществом subprocess перед os.system является то, что он позволяет вам передавать явный вектор аргумента, поэтому вам не нужно беспокоиться о том, как оболочка будет анализировать вашу команду. Там, где вы не можете этим воспользоваться, Python предоставляет shlex.quote() для преобразования строки в код, который любая POSIX-совместимая оболочка будет оценивать в ту же самую строку.
import json, shlex, subprocess
task_arn = 'a_task_arn'
arg = {'something': 'that contains ( )'}
arg_json = json.dumps(arg)
# to locally run the command we could subprocess.run(remote_argv)
remote_argv = [ 'python', '-m', 'task.function', arg_json ]
remote_str = ' '.join([shlex.quote(s) for s in remote_argv])
local_argv = [
'aws', 'ecs', 'execute-command',
'--command', remote_str,
'--interactive',
'--task', task_arn,
'--container', 'Container'
]
subprocess.run(local_argv) # WITHOUT shell=True
В конечном итоге это сработало для меня. Единственное уточнение, которое я мог бы предложить к посту, это то, что --interactive, --task, task_arn, --container и Container концептуально сгруппированы с командой aws ecs, но она работает в любом случае.
@CogitoErgoSum, хм - это должно вызвать практические проблемы (aws ecs execute-command не будет анализировать аргументы внутри --command как аргументы для самой команды выполнения). Исправим в любом случае.
Моя точка зрения была неясна, мне удалось заставить ее работать на основе вашего ответа, но я реализовал ваше редактирование сейчас. Я не пробовал по-другому. Я не уверен, что другой способ действительно сработает.
Если вы запустили ту же команду
python -m task.function b'{"something": "that contains ( )"}'непосредственно на своем компьютере или в локально запущенном образе Docker, получите ли вы ту же ошибку? Я подозреваю, что вам просто нужно добавить несколько escape-символов во ввод команды, но это невозможно узнать, не видя фактическую команду, которую вы пытаетесь запустить.