AWS Glue: максимальное количество необходимых исполнителей < активных исполнителей
Я просматривал свои показатели работы AWS Glue и обнаружил кое-что странное…
Почему требуется количество активных исполнителей > максимально необходимое количество исполнителей? Почему их не убивают?
В Glue время от времени, как показано на графике, количество активных исполнителей меняется, взимается ли плата в зависимости от количества активных исполнителей или того, что я указал в настройках задания?
Ответы 1
The maximum needed executors number is computed from the actively running and pending task counts, so it might be smaller than the number of active executors. This is because there can be executors that are partially or completely idle for a short period of time and are not yet decommissioned.
Ссылка: https://docs.aws.amazon.com/glue/latest/dg/monitor-debug-capacity.html
Нет, плата взимается в зависимости от максимального количества выделенных DPU и времени выполнения клеевого задания.