Мне нужны инструкции по управлению дополнительной нагрузкой в BigQuery. Вот наш процесс
У меня вопрос: как сделать так, чтобы мой SQL собирал только необработанные данные из промежуточной области?
Одна из моих мыслей - создать etl_control_table, где я буду управлять обработанной информацией заголовка / подробностей / ссылок и т. д. Однако я ищу предложения, есть ли какой-нибудь умный способ сделать то же самое (на основе метки времени приема и т. д.)
Примечание: все мои таблицы разделены на file_date
Любой совет, пожалуйста?