Я импортировал простой файл json файл в папку данных. Как лучше всего загружать, анализировать и использовать параметры в json?
Папка gs: // composer-bucket / data объединена с каталогом Airflow / home / airflow / gcs / data (как указано здесь https://cloud.google.com/composer/docs/concepts/cloud-storage#folders_in_the_storage_name_bucket)
Если вам нужно загрузить его, например, в определение задачи PythonOperator, вы можете использовать очень простой следующий код:
import json
with open('/home/airflow/gcs/data/my_file.json', 'r') as f:
d = json.load(f)
Это один из способов сделать это.
В зависимости от того, что вам нужно загрузить и как вам нужно это использовать, вы можете также посмотреть на переменные воздушного потока, а не на файл JSON. (https://airflow.apache.org/concepts.html#variables)