Как перебрать ВСЕ кластеры DataProc в проекте GCP на Python?

Я пытаюсь создать облачную функцию Google, которая перебирает все запущенные в данный момент кластеры DataProc, однако метод dataproc.list_functions() требует, чтобы регион был передан в качестве параметра. У нас есть несколько кластеров в нескольких регионах, активных одновременно.

Есть ли способ получить список регионов в Python и обернуть вызов list_functions внутри цикла for, который перебирает все регионы?

например:

for region in regions:
    for cluster in client.list_clusters('project', region):
        do_stuff()
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
1
0
264
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете перечислить используемые регионы в проекте с помощью клиента Compute:

from googleapiclient import discovery

def get_regions(project):
    compute_client = discovery.build('compute', 'v1')

    regions = compute_client.regions().list(project=project).execute()

    region_names = []
    for r in regions["items"]:
        region_names.append(r["name"])

    return region_names

Привет @norbjd, спасибо за ваш ответ. Когда я пытаюсь реализовать это, я получаю следующую ошибку: Instance of 'Resource' has no 'regions' member в этой строке: regions = compute_client.regions().list(project=project).execute()

Cam 22.05.2019 13:12

Я использую здесь google-api-python-client v.1.7.8, и он отлично работает, не могли бы вы проверить свою версию? (Я выполнил код в контейнере Docker, чтобы убедиться, что это не связано с моей средой).

norbjd 22.05.2019 13:19

Извините - Stackoverflow пукнул, и я не смог отредактировать свой комментарий - это был просто ложный положительный результат от pylint, и ваше решение работает отлично. Спасибо!

Cam 22.05.2019 13:28

Другие вопросы по теме