Анализатор json в облачном композиторе

Я импортировал простой файл json файл в папку данных. Как лучше всего загружать, анализировать и использовать параметры в json?

0
0
514
1

Ответы 1

Папка gs: // composer-bucket / data объединена с каталогом Airflow / home / airflow / gcs / data (как указано здесь https://cloud.google.com/composer/docs/concepts/cloud-storage#folders_in_the_storage_name_bucket)

Если вам нужно загрузить его, например, в определение задачи PythonOperator, вы можете использовать очень простой следующий код:

import json
with open('/home/airflow/gcs/data/my_file.json', 'r') as f:
    d = json.load(f)

Это один из способов сделать это.

В зависимости от того, что вам нужно загрузить и как вам нужно это использовать, вы можете также посмотреть на переменные воздушного потока, а не на файл JSON. (https://airflow.apache.org/concepts.html#variables)

Другие вопросы по теме