Можно ли получить физическую настройку кластера из искрового задания?

Я в курсе

spark.sparkContext.statusTracker

но у меня есть доступ только к количеству Executors и количеству активных Tasks.

Мне интересно, можно ли получить информацию о физических машинах? Например, количество ЦП, памяти и т. д. Я размещаю кластер на EC2, и я хотел бы иметь возможность отслеживать в своем основном журнале конфигурацию кластера примерно так:

 6 r3.2xlarge 16 CPU 12 GB
 12 r3.xlarge 8 CPU 12GB RAM

^ Цифры здесь bs, но они дают представление о типе информации, которую я хотел бы распечатать.

Спасибо.

Я скептически отношусь к возможности получить эту информацию от Spark. Но, поскольку вы используете AWS, возможно, вы сможете получить это оттуда? Во многом зависит от того, как вы настроили свой кластер, но вы, вероятно, можете получить эти данные из API "описания экземпляров": docs.aws.amazon.com/sdk-for-java/v1/developer-guide/…

Joe K 13.09.2018 21:14

да, это был мой план Б передать идентификатор кластера заданию и позволить ему получить, но если бы он уже был включен в искру, это было бы проще: D

Wonay 13.09.2018 22:29
0
2
16
0

Другие вопросы по теме