Программное создание представления AWS Athena

Как вы предположили, определенно возможно программно создать представление Athena через интерфейс командной строки AWS с помощью start-query-execution. Как вы указали, это требует от вас указать местоположение S3 для результатов, даже если вам не нужно будет проверять файл (по какой-то причине Athena поместит в это место пустой текстовый файл).

Вот пример:

$ aws athena start-query-execution --query-string "create view my_view as select * from my_table" --result-configuration "OutputLocation=s3://my-bucket/tmp" --query-execution-context "Database=my_database"

{
    "QueryExecutionId": "1744ed2b-e111-4a91-80ea-bcb1eb1c9c25"
}

Вы можете избежать указания клиентом ведра с помощью создание рабочей группы и настройка там расположения.

Вы можете проверить, успешно ли создано ваше представление, с помощью команды get-query-execution.

$ aws --region athena get-query-execution --query-execution-id bedf3eba-55b0-42de-9a7f-7c0ba71c6d9b
{
    "QueryExecution": {
        "QueryExecutionId": "1744ed2b-e111-4a91-80ea-bcb1eb1c9c25",
        "Query": "create view my_view as select * from my_table",
        "StatementType": "DDL",
        "ResultConfiguration": {
            "OutputLocation": "s3://my-bucket/tmp/1744ed2b-e111-4a91-80ea-bcb1eb1c9c25.txt"
        },
        "Status": {
            "State": "SUCCEEDED",
            "SubmissionDateTime": 1558744806.679,
            "CompletionDateTime": 1558744807.312
        },
        "Statistics": {
            "EngineExecutionTimeInMillis": 548,
            "DataScannedInBytes": 0
        },
        "WorkGroup": "primary"
    }
}

Программное создание представлений в Athena не документировано и не поддерживается, но возможно. Что происходит за кулисами, когда вы создаете представление с помощью StartQueryExecution, так это то, что Athena позволяет Presto создать представление, а затем извлекает внутреннее представление Presto и помещает его в каталог Glue.

Проблема устаревания обычно возникает из-за того, что столбцы в метаданных Presto и метаданные Glue не синхронизированы. Представление Athena действительно содержит три описания представления: представление SQL, столбцы и их типы в формате Glue, а также столбцы и типы в формате Presto. Если какой-либо из них выйдет из строя, вы получите сообщение «… устарело; его необходимо создать заново». ошибка.

Вот требования к таблице Glue для работы в качестве представления Athena:

• TableType должно быть VIRTUAL_VIEW
• Parameters должен содержать presto_view: true
• TableInput.ViewOriginalText должен содержать закодированный вид Presto (см. ниже)
• StorageDescriptor.SerdeInfo должна быть пустая карта
• StorageDescriptor.Columns должен содержать все столбцы, которые определяет представление, с их типами

Сложная часть — это закодированное представление Presto. Эта структура создается с помощью этого кода: https://github.com/prestosql/presto/blob/27a1b0e304be841055b461e2c00490dae4e30a4e/presto-hive/src/main/java/io/prestosql/plugin/hive/HiveUtil.java#L597-L600, и примерно вот что он делает:

• Добавляет префикс /* Presto View: (с пробелом после :)
• Добавляет строку JSON в кодировке Base 64, содержащую SQL представления, столбцы и их типы, а также некоторые метаданные каталога (см. ниже).
• Добавляет суффикс */ (с пробелом перед *)

JSON, описывающий представление, выглядит так:

• Свойство catalog, которое должно иметь значение awsdatacatalog.
• Свойство schema, которое должно быть именем базы данных, в которой создается представление (т. е. оно должно соответствовать свойству DatabaseName окружающей структуры Glue.
• Список столбцов, в каждом из которых есть name и type
• Свойство originalSql с фактическим представлением SQL (не включая CREATE VIEW …, оно должно начинаться с SELECT … или WITH …)

Вот пример:

{
  "catalog": "awsdatacatalog",
  "schema": "some_database",
  "columns": [
    {"name": "col1", "type": "varchar"},
    {"name": "col2", "type": "bigint"}
  ],
  "originalSql": "SELECT col1, col2 FROM some_other_table"
}

Одно предостережение здесь заключается в том, что типы столбцов почти, но не совсем, совпадают с именами в Glue. Если бы у Athena/Glue было бы string, значение в этом JSON должно быть varchar. Если Athena/Glue использует array<string>, значение в этом JSON должно быть array(varchar), а struct<foo:int> становится row(foo int).

Это довольно запутанно, и для того, чтобы собрать все это воедино, нужно немного повозиться и протестировать. Самый простой способ заставить его работать — создать несколько представлений и декодировать приведенные выше инструкции в обратном порядке, чтобы увидеть, как они выглядят, а затем попробовать сделать это самостоятельно.

Чтобы добавить ответы JD D и Theo, работая с их решениями, мы выяснили, как вызывать AWS Cli через terraform следующим образом:

resource "null_resource" "athena_view" {

  provisioner "local-exec" {
    command = <<EOF
aws sts assume-role \
  --output json \
  --region my_region \
  --role-arn arn:aws:iam::${var.account_number}:role/my_role \
  --role-session-name create_my_view > /tmp/credentials.json

export AWS_SESSION_TOKEN=$(jq -r '.Credentials.SessionToken' /tmp/credentials.json)
export AWS_ACCESS_KEY_ID=$(jq -r '.Credentials.AccessKeyId' /tmp/credentials.json)
export AWS_SECRET_ACCESS_KEY=$(jq -r '.Credentials.SecretAccessKey' /tmp/credentials.json)

aws athena start-query-execution \
  --output json \
  --region my_region \
  --query-string "CREATE OR REPLACE VIEW my_view AS SELECT * FROM my_table \
  --query-execution-context "Database=${var.database_name}" \
  --result-configuration "OutputLocation=s3://${aws_s3_bucket.my-bucket.bucket}"
EOF
  }
}

Мы используем null_resource... для запуска поставщиков, которые не связаны напрямую с конкретным ресурсом.

Результат aws sts assume-role выводится в формате JSON в /tmp/credentials.json.

jq используется для анализа необходимых полей из вывода aws sts взять на себя роль.

Затем AWS Athena запуск-запрос-выполнение может выполняться под ролью, указанной определенными переменными среды.

Вместо --result-configuration "OutputLocation=s3://.... можно указать --work-group. ОБРАТИТЕ ВНИМАНИЕ, что это отдельный флаг для start-query-execution, а не часть строки --result-configuration.

Дополнение к ответу Тео: в файле JSON с кодировкой base64 тип «строка» недействителен при определении атрибутов cloumn! Всегда пишите «varchar» в этот момент.

редактировать: также "int" должен быть объявлен как "целое число"!

Я выбрал решение Тео, и оно работало с использованием шаблонов AWS Cloud Formation.

Я просто хотел добавить небольшую подсказку, которая может сэкономить вам часы отладки. Я не пишу это как комментарий, потому что у меня пока нет прав комментировать. Не стесняйтесь копировать и вставлять это в раздел комментариев ответа Тео.

Обновление приведенных выше примеров для синтаксиса Terraform 0.12+, и добавление при чтении запросов просмотра из файловой системы:

resource "null_resource" "athena_views" {
  for_each = {
    for filename in fileset("${path.module}/athenaviews/", "**"):
           replace(filename,"/","_") => file("${path.module}/athenaviews/${filename}")
  }

  provisioner "local-exec" {
    command = <<EOF
    aws athena start-query-execution \
      --output json \
      --query-string CREATE OR REPLACE VIEW ${each.key} AS ${each.value} \
      --query-execution-context "Database=${var.athena_database}" \
      --result-configuration "OutputLocation=s3://${aws_s3_bucket.my-bucket.bucket}"
EOF
  }

  provisioner "local-exec" {
    when    = "destroy"
    command = <<EOF
    aws athena start-query-execution \
      --output json \
      --query-string DROP VIEW IF EXISTS ${each.key} \
      --query-execution-context "Database=${var.athena_database}" \
      --result-configuration "OutputLocation=s3://${aws_s3_bucket.my-bucket.bucket}"
EOF
  }
}

Также обратите внимание на блок when= "destroy", чтобы убедиться, что просмотры удаляются, когда ваш стек разрывается.

Поместите текстовые файлы с запросом SELECT ниже пути к вашему модулю в каталоге (athenaview/ в этом примере), и он подберет их и создаст представления. Это создаст представления с именем subfolder_filename и уничтожит их, если файлы будут удалены.

Основываясь на предыдущих ответах, вот пример, который будет выполнять запросы, только если исходный файл изменился. Кроме того, вместо того, чтобы вставлять SQL-запрос в команду, он использует адаптер file:// для передачи его в команду AWS CLI.

resource "null_resource" "views" {
  for_each = {
    for filename in fileset("${var.sql_files_dir}/", "**/*.sql") :
    replace(replace(filename, "/", "_"), ".sql", "") => "${var.sql_files_dir}/${filename}"
  }

  triggers = {
    md5 = filemd5(each.value)

    # External references from destroy provisioners are not allowed -
    # they may only reference attributes of the related resource.
    database_name = var.database_name
    s3_bucket_query_output = var.s3_bucket_query_output
  }

  provisioner "local-exec" {
    command = <<EOF
      aws athena start-query-execution \
        --output json \
        --query-string file://${each.value} \
        --query-execution-context "Database=${var.database_name}" \
        --result-configuration "OutputLocation=s3://${var.s3_bucket_query_output}"
EOF
  }

  provisioner "local-exec" {
    when    = destroy
    command = <<EOF
      aws athena start-query-execution \
        --output json \
        --query-string 'DROP VIEW IF EXISTS ${each.key}' \
        --query-execution-context "Database=${self.triggers.database_name}" \
        --result-configuration "OutputLocation=s3://${self.triggers.s3_bucket_query_output}"
EOF
  }
}

Чтобы уничтожение работало правильно, называйте файлы точно так же, как имя файла - example.sql относится к запросу:

CREATE OR REPLACE VIEW example AS ...