Есть ли способ получать уведомление всякий раз, когда новые строки вставляются в общедоступный набор данных? Поддерживают ли наборы данных / таблицы BQ триггеры или события, которые мы можем использовать при изменении данных?
Я экспериментирую с общедоступными наборами данных и хочу выполнять свою логику пересчета всякий раз, когда Google обновляет общедоступный набор данных. Я хочу вызывать CloudFunction для вычисления чего-либо, когда новые строки вставляются в общедоступный набор данных noaa_gsod.gsod_2018. Теперь это не обязательно должна быть причудливая бессерверная цель - я счастлив подписаться на тему в PubSub и использовать экземпляр виртуальной машины GCE для выполнения моей логики, если общедоступный набор данных BQ может каким-то образом публиковать такие сообщения в PubSub. К сожалению, я не смог найти способ получать уведомления об изменениях / обновлениях общедоступного набора данных. Хотелось бы услышать от сообщества, экспериментировал ли кто-нибудь в этом вопросе. Спасибо, Дхирендра Натх.
лучший вариант, который я вижу до сих пор, - иметь процесс, который будет выполнять нижеприведенный запрос (бесплатно) так часто, как вам нужно, и на основе изменений в соответствующих полях вызывать любую логику, которую вы имеете в виду
select last_modified_time, row_count
from `bigquery-public-data.noaa_gsod.__TABLES__`
where table_id = 'gsod2018'
или вы можете использовать table.get API для того же
К сожалению, триггеры облачных функций в таблицах BigQuery не поддерживаются, а уведомления об изменениях BigQuery не поддерживаются.
Тем временем вы можете отправить соответствующий запрос функции в трекер проблем
согласен с вами, но как я уже сказал - на данный момент это выглядит как единственное реальное направление. не в курсе ни одной альфы, связанной с этой темой. очевидно, мы все надеемся, что в конечном итоге у нас появится такая функциональность: o)
Спасибо Михаилу, было бы неплохо избежать опроса по понятным причинам - нужен контейнер для запуска логики опроса, хотя сам запрос бесплатный. К сожалению, похоже, что на данный момент это может быть единственный вариант. Я надеюсь, так как кто-то мог наткнуться на это требование и, возможно, что-то пробовал, давайте посмотрим, есть ли у Google что-то в альфа-версии. Ваше здоровье!