Определение размера таблицы Bigquery во всех проектах
Мы поддерживаем таблицу в Bigquery, которая фиксирует все журналы активности из журналов драйвера стека. Эта таблица помогает мне перечислить все имеющиеся таблицы, пользователя, создавшего таблицу, последнюю команду, запущенную для таблицы, и т. д. по проектам и наборам данных в нашей организации. Наряду с этой информацией мне также нужен размер таблицы для таблиц, которые я пытаюсь проверить.
Я могу присоединиться к ТАБЛИЦЫ и TABLE_SUMMARY, однако мне нужно явно указать проект и набор данных, которые я хочу запросить, но в моей таблице управления есть сведения о нескольких проектах и наборах данных.
Есть ли какая-либо другая таблица метаданных, из которой я могу получить размер таблицы, или какие-либо журналы, которые я могу загрузить в таблицу Bigquery, чтобы присоединиться и получить желаемые результаты?
Ответы 1
Вы можете использовать инструмент командной строки bq. С команда:
bq show --format=prettyjson
Это предоставляет numBytes, datasetId, projectId и многое другое. С помощью скрипта вы можете использовать:
bq ls
и просматривайте наборы данных и таблицы в каждом проекте, чтобы получить необходимую информацию. Имейте в виду, что вы также можете использовать API или клиентскую библиотеку.
Я хотел получить информацию из любой таблицы метаданных или некоторых журналов, которые я могу загрузить в таблицу. Однако, похоже, нет журналов или таблиц, в которых есть эта информация. Думаю, мне придется создать отдельный процесс для циклического просмотра списка проектов и таблиц, чтобы получить информацию с помощью «bq ls» или «ТАБЛИЦЫ» и заполнить отдельную таблицу, которую можно использовать в соединении. Спасибо, Натан.