Невозможно запустить задание flink в emr с помощью шагов emr

Я пытаюсь отправить задание в сеансе пряжи через шаг EMR. Когда я это сделаю, я столкнусь со следующей ошибкой

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/lib/flink/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/lib/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Command exiting with ret '1'

Не могли бы вы помочь мне в решении этой проблемы?

Step Configuration
Name= Custom jar
Jar location = command-runner.jar
Arguments = flink run -c com.comcast.dhome.xh.timeline.events.ProcessKafkaStream s3://aws-logs-518000940535-us-east-1/dh-xh-event-subscriber.jar --region us-east-1
Action on failure = continue

Конфигурация EMR

EMR = 5.15.0
FLINK 1.4.2
1
0
300
1

Ответы 1

Вам необходимо загрузить наш JAR-файл приложения локально, то есть aws s3 cp s3://aws-logs-518000940535-us-east-1/dh-xh-event-subscriber.jar ., а затем указать на локальный jar-файл flink run -c com.comcast.dhome.xh.timeline.events.ProcessKafkaStream dh-xh-event-subscriber.jar --region us-east-1. Вы не можете напрямую использовать файлы, размещенные в s3.

Для всех, кто наткнулся на эту страницу, хотя этот ответ правильный, он фактически не относится к сообщению об ошибке в вопросе.

EnKrypt 11.05.2020 11:22

Другие вопросы по теме