Что произойдет с широковещательной переменной spark, если один из узлов заполнен

Я только начал работать над Spark и являюсь новичком.

В. Предположим, мы транслируем небольшую таблицу, и в то же время некоторые узлы заполнены и не имеют места.

Если Spark не может скопировать широковещательную переменную из-за ошибки памяти, то чем выгодна широковещательная передача?

Как компания Spark справится с этой ситуацией?

Почему вы хотите транслировать небольшой стол?

pvy4917 31.10.2018 15:49

Таким образом, он использует широковещательное соединение вместо сортировки слиянием и, следовательно, уменьшает перемешивание.

Dhruv 01.11.2018 08:51
0
2
47
1

Ответы 1

Один удар по этому сценарию, Spark просто вылетит из-за OOM. В этом он не сильно отличается от случая, когда данные передаются через закрытие.

Другие вопросы по теме