Периодически автоматически переносить данные из Google Datastore в Bigquery

Я хочу периодически автоматически передавать данные из хранилища данных Google в BigQuery. Сначала он должен передавать все, а со второго раза он должен синхронизировать хранилище данных и большой запрос.

На данный момент я нашел 1 скрипт - https://github.com/chees/datastore2bigquery/blob/master/datastore2bigquery.sh - Может ли кто-нибудь помочь с расчетом стоимости, учитывая, что данные в хранилище данных составляют 100 МБ. Является ли это экономически эффективным методом или существует какой-то другой лучший метод?

Могу ли я использовать Dataflow/google infra только вместо того, чтобы поддерживать задание cron или jenkins CI?

Я голосую за закрытие этого вопроса, потому что SO предназначен для вопросов кодирования, а не вопросов выставления счетов.

Puteri 01.02.2023 20:34

В чем твоя проблема? Как сделать или сколько это стоит? слишком размыто

guillaume blaquiere 01.02.2023 23:07

@guillaumeblaquiere. обе вещи на самом деле. Есть ли какой-либо лучший метод, кроме скрипта, и он экономически эффективен, чем этот?

Mehul Parmar 02.02.2023 07:27

Скрипт — лучший способ (экспортировать хранилище данных в хранилище, а затем загружать хранилище в BigQuery). Но это только асинхронно, у вас нет возможности репликации в реальном времени. Что касается стоимости, вы платите только за хранилище: экспорт данных из хранилища и задания загрузки больших запросов бесплатны!

guillaume blaquiere 02.02.2023 09:21

Я вижу, что gcloud имеет как асинхронные, так и синхронизирующие параметры. Что вы подразумеваете под опцией репликации в реальном времени. Таким образом, сценарий - единственный способ, инфраструктура Google не поддерживает это?

Mehul Parmar 02.02.2023 12:07
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
2
5
69
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Как отметил @guillaume blaquiere в комментариях:

Скрипт — лучший способ (экспортировать хранилище данных в хранилище, а затем загружать хранилище в BigQuery). Но это только async, у вас нет опции репликации в реальном времени.

Что касается стоимости, вы платите только за хранилище: экспорт данных из хранилища и задания загрузки больших запросов бесплатны.

Публикация ответа как вики сообщества для пользы сообщества, которое может столкнуться с этим вариантом использования в будущем.

Не стесняйтесь редактировать этот ответ для получения дополнительной информации.

Другие вопросы по теме