Amazon s3: получение даты последнего обновления раздела в каталоге клея Athena/AWS

Этот запрос даст вам время изменения файла новейшего объекта в каждом разделе:

select "$partition", max("$file_modified_time") as max_file_modified_time
from my_table
group by 1
order by 1

Этот запрос сканирует нулевые байты, но в зависимости от количества разделов в вашей таблице он может выполнить множество операций S3, поэтому он не бесплатен.

Запрос использует столбец метаданных $partition, который будет строковым представлением объединенных ключей раздела. Вы также можете напрямую использовать имена ключей разделов. Если в вашей таблице есть ключи разделов date, category, запрос может выглядеть так:

select date, category, max("$file_modified_time") as max_file_modified_time
from my_table
group by 1, 2
order by 1, 2