Клонирование репозитория из google cloud composer dag

Как я могу клонировать из репозитория облачных источников и отправить код в репозиторий другого проекта GCP из Google Cloud Composer?

Я использовал команду gcloud для клонирования кода в корзину Composer Cloud Storage и получил следующую ошибку:

Cloning into '/home/airflow/gcsfuse/data/source_code'...

error: RPC failed; result=56, HTTP code = 200

fatal: The remote end hung up unexpectedly

fatal: early EOF

fatal: index-pack failed

Причина ошибки описана здесь

Можно ли это сделать из среды Composer?

Удостоверились ли вы, что учетная запись службы вашей среды имеет доступ к репо? Кроме того, если вы делаете это в PythonOperator и нажимаете на том же шаге, вы можете вместо этого клонировать в / tmp, поскольку не похоже, что вам нужно иметь GCS на пути.

Trevor Edwards 02.11.2018 20:28

Учетная запись службы среды имеет доступ к репо. Я могу клонировать в / tmp и отправить код в другое репо. Спасибо.

Blessy 06.11.2018 02:52

@Trevor Пожалуйста, рассмотрите возможность публикации своего решения в качестве ответа.

MonicaPC 29.11.2018 01:51
2
3
600
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Удостоверились ли вы, что учетная запись службы вашей среды имеет доступ к репо? Кроме того, если вы делаете это в PythonOperator и нажимаете на том же шаге, вы можете вместо этого клонировать в / tmp, поскольку не похоже, что вам нужно иметь GCS на пути.

Другие вопросы по теме