Как исключить разделы при преобразовании csv в orc с помощью aws glue?

У меня есть куча файлов CSV в S3, которые я пытаюсь скрыть в ORC с помощью задания ETL в AWS Glue. У меня есть сканер, который просматривает каталог, содержащий CSV, и создает таблицу. Таблица выглядит так:

Column name | Data type | Partition key
---------------------------------------
field1      | string    |
field2      | string    |
field3      | string    |
partition_0 | string    | Partition (0)
partition_1 | string    | Partition (1)

Затем я пытаюсь преобразовать CSV в файлы ORC. Вот сценарий ETL, аналогичный тому, что я использую:

args = getResolvedOptions(sys.argv, ['JOB_NAME', 'database', 'table_name', 'output_dir'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
partition_predicate = '(partition_0 = "val1") AND (partition_1 = "val2")'
datasource0 = glueContext.create_dynamic_frame.from_catalog(database = args['database'], table_name = args['table_name'], push_down_predicate = partition_predicate, transformation_ctx = "datasource0")
final = glueContext.write_dynamic_frame.from_options(frame = datasource0, connection_type = "s3", connection_options = { "path": args['output_dir'] }, format = "orc")
job.commit()

У меня есть другой сканер, который просматривает мой выходной каталог, содержащий файлы ORC. Когда он генерирует таблицу, это выглядит так:

Column name | Data type | Partition key
---------------------------------------
field1      | string    |
field2      | string    |
field3      | string    |
partition_0 | string    |
partition_1 | string    |
partition_0 | string    | Partition (0)
partition_1 | string    | Partition (1)

Похоже, что он считает разделы полями в файле ORC (чего не должно быть). Как я могу изменить свой сценарий, чтобы преобразование CSV в ORC не включало ключи раздела в качестве столбцов схемы?

0
0
419
1

Ответы 1

Если вам нужно сохранить разбиение на разделы, добавьте в писатель опцию partitionKeys:

final = glueContext.write_dynamic_frame.from_options(frame = datasource0, connection_type = "s3", connection_options = { "path": args['output_dir'], "partitionKeys" -> Seq("partition_0", "partition_1") }, format = "orc")

В противном случае просто удалите столбцы разделения:

cleanDyf = datasource0.dropFields(Seq("partition_0", "partition_1"))
final = glueContext.write_dynamic_frame.from_options(frame = cleanDyf, connection_type = "s3", connection_options = { "path": args['output_dir'] }, format = "orc")

Другие вопросы по теме