Я хочу периодически автоматически передавать данные из хранилища данных Google в BigQuery. Сначала он должен передавать все, а со второго раза он должен синхронизировать хранилище данных и большой запрос.
На данный момент я нашел 1 скрипт - https://github.com/chees/datastore2bigquery/blob/master/datastore2bigquery.sh - Может ли кто-нибудь помочь с расчетом стоимости, учитывая, что данные в хранилище данных составляют 100 МБ. Является ли это экономически эффективным методом или существует какой-то другой лучший метод?
Могу ли я использовать Dataflow/google infra только вместо того, чтобы поддерживать задание cron или jenkins CI?
В чем твоя проблема? Как сделать или сколько это стоит? слишком размыто
@guillaumeblaquiere. обе вещи на самом деле. Есть ли какой-либо лучший метод, кроме скрипта, и он экономически эффективен, чем этот?
Скрипт — лучший способ (экспортировать хранилище данных в хранилище, а затем загружать хранилище в BigQuery). Но это только асинхронно, у вас нет возможности репликации в реальном времени. Что касается стоимости, вы платите только за хранилище: экспорт данных из хранилища и задания загрузки больших запросов бесплатны!
Я вижу, что gcloud имеет как асинхронные, так и синхронизирующие параметры. Что вы подразумеваете под опцией репликации в реальном времени. Таким образом, сценарий - единственный способ, инфраструктура Google не поддерживает это?
Как отметил @guillaume blaquiere в комментариях:
Скрипт — лучший способ (экспортировать хранилище данных в хранилище, а затем загружать хранилище в BigQuery). Но это только async
, у вас нет опции репликации в реальном времени.
Что касается стоимости, вы платите только за хранилище: экспорт данных из хранилища и задания загрузки больших запросов бесплатны.
Публикация ответа как вики сообщества для пользы сообщества, которое может столкнуться с этим вариантом использования в будущем.
Не стесняйтесь редактировать этот ответ для получения дополнительной информации.
Я голосую за закрытие этого вопроса, потому что SO предназначен для вопросов кодирования, а не вопросов выставления счетов.