Выполнение следующей команды для отправки задания в пряжу, но выделенный номер диспетчера задач не ожидается. У кластера достаточно ресурсов <220vcores, 720G mem>
/data/clusterserver/flink-1.7.2/bin/flink run -m yarn-cluster -yn 4 -ys 2 /data/clusterserver/flink-1.7.2/examples/batch/WordCount.jar --input hdfs:///tmp/wordcount.txt --output hdfs:///tmp/count.result
2019-04-10 15:04:57,397 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
2019-04-10 15:04:57,397 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
2019-04-10 15:04:57,405 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - The argument yn is deprecated in will be ignored.
2019-04-10 15:04:57,405 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - The argument yn is deprecated in will be ignored.
2019-04-10 15:04:57,554 INFO org.apache.flink.yarn.AbstractYarnClusterDescriptor - Cluster specification: ClusterSpecification{masterMemoryMB=2048, taskManagerMemoryMB=2048, numberTaskManagers=4, slotsPerTaskManager=2}
2019-04-10 15:04:58,017 WARN org.apache.flink.yarn.AbstractYarnClusterDescriptor - The configuration directory ('/data/clusterserver/flink-1.7.2/conf') contains both LOG4J and Logback configuration files. Please delete or rename one of them.
2019-04-10 15:05:01,419 INFO org.apache.flink.yarn.AbstractYarnClusterDescriptor - Submitting application master application_1554348641734_0105
2019-04-10 15:05:01,446 INFO org.apache.hadoop.yarn.client.api.impl.YarnClientImpl - Submitted application application_1554348641734_0105
2019-04-10 15:05:01,447 INFO org.apache.flink.yarn.AbstractYarnClusterDescriptor - Waiting for the cluster to be allocated
2019-04-10 15:05:01,450 INFO org.apache.flink.yarn.AbstractYarnClusterDescriptor - Deploying cluster, current state ACCEPTED
2019-04-10 15:05:05,747 INFO org.apache.flink.yarn.AbstractYarnClusterDescriptor - YARN application has been deployed successfully.
Starting execution of program
Как мы видим из журнала INFO, параметры, отправляемые в yarn,
{masterMemoryMB=2048, taskManagerMemoryMB=2048, numberTaskManagers=4, slotsPerTaskManager=2}
, однако есть только один диспетчер задач от flink WebUI.
С использованием
yarn-session.sh
с -n
также встречается с той же проблемой, а именно не работает управление количеством диспетчеров задач из командной строки.
Что касается Flink 1.5
, Flink поддерживает полную эластичность ресурсов. Это означает, что Flink может динамически запускаться и останавливаться TaskManagers
при работе на Yarn. Следствием этого является то, что вам больше не нужно указывать количество контейнеров/TaskManagers
для кластера Flink в Yarn. Вот почему Flink больше не уважает вариант -n
/-yn
.
Вместо этого Flink учитывает параллелизм задания, чтобы рассчитать, сколько слотов необходимо для выполнения задания, а затем запускает столько TaskManagers
, сколько необходимо для выполнения требований к слотам.
Вы можете найти дополнительную информацию об изменениях развертывания здесь и здесь.
Ты прав. Документация устарела. Я только что выложил исправление, чтобы исправить текущее использование.
Спасибо за ваш развернутый ответ. Тогда последний документ, описанный здесь, не обновляется вовремя?