При использовании Dask нормально все работает. Однако, когда я использую Dask с адаптивным кластером, я обнаруживаю, что иногда все задачи назначаются одному работнику. Почему это?
Это следует рассматривать как ошибку удобства использования, и было бы разумно сообщить об этом.
Однако, чтобы объяснить, что происходит (по крайней мере, сегодня 2018-08-09), вероятно, происходит следующее:
В идеале эвристика балансировки нагрузки должна справиться с ситуацией. Были более старые версии Dask, где это работало хуже, но обычно это нормально. Я рекомендую сначала обновить вашу версию пакетов dask
и distributed
до новейших возможных выпусков, и если это не сработает, по возможности сообщите о проблеме с минимальным примером.