Получаем исключение при настройке flink в кластере Azure HDInsights.
./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
Броски:
org.apache.flink.client.deployment.ClusterDeploymentException:
Couldn't deploy Yarn session cluster
Caused by:
Failing this attempt.Diagnostics:
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp
changed on src filesystem (expected 1540341676000, was 1540341677000
java.io.IOException:
at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)
Похоже, это связано с тем, что хранилище blob-объектов wasb не сохраняет исходные метки времени для скопированных файлов, нарушая абстракцию HDFS API поверх wasb. Есть ли обходные пути для этого?
Только другой поток, который я смог найти, был Oozie / yarn: ресурс изменен в файловой системе src.
Мы работали с поддержкой MS Azure, и они подтвердили, что она работает только с Flink 1.4.x, а не с 1.5.x или 1.6.x.
Мы понизили его до 1.4.x, и теперь он отлично работает в кластере Azure.