Ресурс изменен в файловой системе src в Azure Flink

Получаем исключение при настройке flink в кластере Azure HDInsights.

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m

Броски:

org.apache.flink.client.deployment.ClusterDeploymentException: 
Couldn't deploy Yarn session cluster

Caused by: 

Failing this attempt.Diagnostics: 
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp 
changed on src filesystem (expected 1540341676000, was 1540341677000

java.io.IOException: 
    at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

Похоже, это связано с тем, что хранилище blob-объектов wasb не сохраняет исходные метки времени для скопированных файлов, нарушая абстракцию HDFS API поверх wasb. Есть ли обходные пути для этого?

Только другой поток, который я смог найти, был Oozie / yarn: ресурс изменен в файловой системе src.

Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
В предыдущей статье мы завершили установку базы данных, для тех, кто не знает.
Как установить LAMP Stack 1/2 на Azure Linux VM
Как установить LAMP Stack 1/2 на Azure Linux VM
В дополнение к нашему предыдущему сообщению о намерении Azure прекратить поддержку Azure Database для MySQL в качестве единого сервера после 16...
1
0
333
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Мы работали с поддержкой MS Azure, и они подтвердили, что она работает только с Flink 1.4.x, а не с 1.5.x или 1.6.x.

Мы понизили его до 1.4.x, и теперь он отлично работает в кластере Azure.

Другие вопросы по теме