Я использую Google BigQuery для OLAP и планирую предоставить Google Cloud SQL (Postgres) для OLTP. Мой план состоит в том, чтобы направить потоковые данные из Google BigQuery в Postgres. Я пытаюсь найти решение в Google, но вариант использует только пакетный файл.
Возможно ли потоковое решение от Google BigQuery до PostgreSQL?
Привет @SakshiGatyan, спасибо за ваш ответ. Postgresql будет использоваться интерфейсным приложением, поэтому нам нужны данные почти в реальном времени.
Вы хотите читать потоковые данные в реальном времени из BQ в облачный SQL? Пожалуйста, поправьте меня, если я ошибаюсь.
Да правильно @SakshiGatyan.
В настоящее время не существует механизма потокового чтения для доступа к данным bigquery, как упоминалось в этом посте Stackoverflow.
Следовательно, вам придется идти на чтение данных через пакетный процесс. Вы также можете вручную настроить процесс ETL для интеграции BigQuery с PostgreSQL с помощью Cloud Data Fusion, как указано в этой статье.
Потоковая передача обычно используется для данных в реальном времени. не могли бы вы объяснить, почему вы собираетесь использовать потоковое решение в вашем случае?