Разрешить бизнес-пользователю загружать данные из CSV в таблицу Google Big Query
Я готовлю табличную панель, которая считывает данные из определенных таблиц. В одной из таблиц есть данные, которые добавляются вручную по мере необходимости. Данные поступают со стороны бизнеса. Есть ли способ позволить бизнес-пользователю загружать csv в большую таблицу запросов, не заставляя их делать что-либо слишком техническое?
Спасибо за ответ @BihagKashikar. Но нам нужно загружать данные произвольно, несколько раз. Нам нужно отслеживать, когда данные были загружены и что изменилось в результате. Хранить все это на листе в долгосрочной перспективе было бы обременительно. Вы знаете какие-то другие способы? Есть ли вариант, при котором пользователь может загрузить CSV и нажать кнопку, после чего запустится служба для загрузки данных в Big Query?
Привет @AntonySamuelB, вы можете загрузить данные CSV прямо в таблицу bigquery.
Спасибо за ответ @kiranmathew. К сожалению, бизнес-пользователь не разбирается в больших запросах, и я прямо сейчас выступаю в роли посредника, получая csv и вставляя его в существующую таблицу с помощью скрипта Python. Я пытаюсь автоматизировать свою роль в этом. Любая помощь приветствуется.
Привет @AntonySamuelB, я опубликовал решение. Я не уверен, что он соответствует всем вашим требованиям. Я надеюсь, что это помогает.
Ответы 2
В настоящее время нет удобного для пользователя способа импорта прямо в существующую большую таблицу запросов из csv. Вы можете упаковать свой скрипт Python в небольшое приложение, которое позволит бизнес-пользователю выбрать файл, а затем запустить ваш скрипт Python для загрузки CSV-файла в BQ. Мне приходилось делать подобное решение.
Спасибо за ответ @Chris Ewart. Можете ли вы предоставить общий обзор используемого приложения?
В качестве обходного пути вы можете рассмотреть следующие методы:
1 Использование переносов в облачное хранилище:
В этом методе сначала вам нужно отправить файл csv в облачное хранилище. Затем вы можете настроить передачу облачного хранилища. Эта служба передачи для облачного хранилища позволяет планировать повторяющиеся загрузки данных из облачного хранилища в BigQuery. Для получения дополнительной информации вы перейдите по этой ссылке . Но имейте в виду, что у этого сервиса есть некоторые ограничения.
2. Автоматизируйте сценарий Python в Google Cloud.
Существуют разные способы автоматизации скрипта Python в облаке Google. В вашем случае вы можете рассмотреть возможность использования облачной функции с облачным расписанием для автоматического запуска вашего кода Python. Сначала вам нужно создать облачную функцию для запуска вашего кода. Затем вы можете использовать облачное расписание для автоматического запуска вашей функции. Более безопасным способом вы можете косвенно использовать триггерную облачную функцию с помощью pubsub. Для получения дополнительной информации вы можете перейти по этой ссылке.
Если пользователь может загрузить csv на гугл диск, то с помощью этого подхода cloud.google.com/bigquery/docs/external-data-drive можно создавать постоянные таблицы в большом запросе.