Не могли бы вы рассказать, можно ли захватить CDC в базе данных GCP BigQuery, чтобы получать уведомления о каждой операции INSERT/UPDATE/DELETE, выполняемой в таблицах BigQuery? Если да, не могли бы вы предоставить документацию, описывающую, как это сделать? Я знаю, как выполнить CDC для BigQuery, но не знаю, возможно ли выполнить CDC из BigQuery.
Еще в апреле на конференции Google NEXT была анонсирована функция под названием «Непрерывные запросы BigQuery». Видео к нему можно найти здесь. Эта функция постоянно отслеживает одну или несколько таблиц, и когда в таблице что-то «меняется», выполняется действие. Одно из первых применений — исходящий CDC. Когда что-то меняется в таблице, соответствующая измененная строка/детали могут быть опубликованы в PubSub.
На момент написания этой публикации (2024-06) я не считаю, что эта функция общедоступна... однако, если вы обратитесь к своему торговому представителю Google Cloud, существует частная программа предварительного просмотра, в которой вы можете можно получить ранний доступ к нему. Я не знаю, когда запланирована официальная общедоступная версия.
Я посмотрел предоставленное вами видео, и эта функция выглядит просто потрясающе! На данный момент у меня есть несколько вопросов: можно ли параллельно выполнять большое количество различных непрерывных запросов BigQuery (например, 50 тысяч запросов) и как BigQuery с этим справится? Кроме того, как обрабатываются обновления: каждый непрерывный запрос BigQuery считывает все данные из хранилища для каждого нового события/обновления или он считывается только постепенно, как это делает, например, Epsio.io?
Привет @alexanoid ... Насколько я понимаю, эта функция находится в закрытой предварительной версии. Это означает, что поддержка (включая вопросы, текущую функцию, функцию, которую она будет выполнять в общедоступной версии и далее) осуществляется непосредственно командой управления продуктами BigQuery и инженерами BigQuery. Другими словами, на самом деле нет НИКАКОГО опыта, которым кто-либо (кроме вышеперечисленных) мог бы поделиться. Будет обучение и документация от GA. А пока я свяжусь с вашей командой по работе с аккаунтами Google и попрошу их провести брифинг. Они должны быть в состоянии запланировать звонок с вами и инженерами.
Спасибо за ответ! Еще один вопрос: могу ли я обрабатывать события INSERT/UPDATE/DELETE с помощью BigQuery EventArc?