Java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric () Lio / netty / buffer / PooledByteBufAllocatorMetric;
Я пытаюсь запустить простой скрипт с искрой, и он дает мне
java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
Я видел в этой ветке: Проблема с версией Netty Spark 2.3.0: NoSuchMethod io.netty.buffer.PooledByteBufAllocator.metric ()
Но даже после того, как я добавил новый модуль netty в свой pom.xml, я все еще его вижу. Мой pom.xml выглядит так:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.0</version>
</dependency>
<dependency>
<groupId>io.netty</groupId>
<artifactId>netty-all</artifactId>
<version>4.1.17.Final</version>
</dependency>
Я также пробовал использовать искру 2.2.1, но это дает мне:
java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem
Итак, я немного застрял, есть ли еще какая-нибудь конфигурация, которую я могу попробовать?
Вы правы, эта ошибка исчезла сама по себе. Теперь я вижу другую ошибку, спасибо!
Ответы 1
Так что это может помочь. Во-первых, я не большой поклонник Java, и это мой первый набег на Cassandra / spark. Я думаю, они исправили это из своих исходных загрузок, потому что эта управляемая зависимость теперь добавлена в 2.3.0 (клянусь, это было не так, как вчера, я мог бы быть сумасшедшим). Я также пытался использовать разъем cassandra, и включение этих банок могло вызвать мою проблему. Во всяком случае, это отрывок из моего файла докеров:
#SPARK
ENV SPARK_COMMIT 992447fb30ee9ebb3cf794f2d06f4d63a2d792db
ENV SPARK_VERSION 2.3.0
ENV SPARK_PREFIX /usr
ENV SPARK_HOME /usr/spark-${SPARK_VERSION}
ENV _R_CHECK_FORCE_SUGGESTS_ false
RUN wget http://apache.claz.org/spark/spark-2.3.0/spark-2.3.0.tgz && tar -xzf spark-2.3.0.tgz -C $SPARK_PREFIX
# COPY ./builds/secondpage-spark/pom.xml $SPARK_HOME/pom.xml
RUN cd $SPARK_HOME && ./dev/make-distribution.sh --name custom-spark --pip --tgz -Phive -Phive-thriftserver -Pyarn -Pkubernetes -DskipTests
# SPARK CASSANDRA CONNECTOR
ENV CONNECTOR_COMMIT d8a3eb4
ENV CONNECTOR_HOME /usr/spark-cassandra-connector
RUN git clone https://github.com/datastax/spark-cassandra-connector $CONNECTOR_HOME && \
cd $CONNECTOR_HOME && git checkout $CONNECTOR_COMMIT && \
sbt/sbt doc && \
sbt/sbt package && \
sbt/sbt assembly
Там куча посторонних вещей, потому что я кидал вещи в стену, и это первое, что нужно приставать. Таким образом, это может быть очищено, или вы можете преобразовать его в чистый bash, что бы вы ни хотели
С
netty-all 4.1.17.Finalв вашемpom.xmlвы не должны видетьNoSuchMethodError. Может быть, вы сможете запуститьmvn clean compileи попробовать еще раз.