Таблица bigquery из google cloud storage

Я создал таблицу BigQuery из Google Cloud Storage. Я использую опцию: gs: //my_bucket/*.csv

Google Cloud Storage URIs begin with "gs://" and specify the bucket and object you want to load.

Example: gs://mybucket/path/to/mydata.csv

You can use a wildcard to load multiple files, for example gs://mybucket/path/to/my*

Моя корзина содержит несколько файлов CSV.

Каждый раз, когда я добавляю новый файл CSV, это не определяется таблицей, то есть если у меня есть в GCS:

  • file1.csv

  • file2.csv

В тот момент, когда я создал таблицу, она всегда будет читать только эти 2 файла. Когда я добавляю file3.csv и т. д., Он никогда не обновляет таблицу.

0
0
677
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Когда вы загружаете данные из сегмента, эти данные загружаются на основе (совпадающих) объектов в этом сегменте во время загрузки.

Новые добавленные объекты не загружаются автоматически.

Если вы хотите это сделать, у вас есть несколько вариантов:

хорошие предложения! в зависимости от размера ожидаемых данных (если он небольшой), другой способ сделать это - использовать Gdrive API для добавления csv в Google Sheet. Таблицы в BQ, созданные на основе Gsheets, «обновляются в реальном времени».

FKrauss 14.09.2018 11:22

Другие вопросы по теме