Проблемы с добавлением коннектора spark-redis в качестве зависимости

Я пытаюсь использовать соединитель spark-redis, предоставленный RedisLabs. Я мог бы попробовать это в своей локальной среде, загрузив необходимые файлы jars.

Но когда я пытаюсь выполнить его в EMR, мне нужно добавить его в свой файл built.sbt, примерно так:

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2"

Но я получаю сообщение об ошибке, говорящее, что не могу разрешить эту зависимость. Не удается найти библиотеку spark-redis.

Есть ли другой способ сделать это? Любое предложение?

apache-spark redis dependencies sbt redislabs

03.08.2018 09:45

Стоит ли изучать PHP в 2026-2027 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

398

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Мне удалось скомпилировать добавление потоковой передачи искр к зависимостям и включение зависимости для потоковой передачи искр с внешнего URL:

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.0" % "provided"

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"

libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2" from "https://dl.bintray.com/spark-packages/maven/RedisLabs/spark-redis/0.3.2/spark-redis-0.3.2.jar"

03.08.2018 12:55

Другие вопросы по теме

Как правильно измерить время, необходимое скрипту Python для подключения к Redis?

Установить ключ срока действия в определенное время при использовании кэширования Spring с Redis

Подключайтесь к AWS ElastiCache с шифрованием в пути + аутентификацией от клиента, отличного от redis-cli + stunnel

Рендеринг очереди массовой рассылки Laravel

Время ожидания StackExchange.Redis

Поиск по базе данных Value K-V с высокой скоростью

Ожидаемый открытый порт в контейнере Redis недоступен даже после привязки порта

Почему простая команда set превращается в медленный запрос, Redis?

Как обойти цикл req / resp Django при обновлении его внутреннего состояния

Как настроить докер для использования Redis с сельдереем

Проблемы с добавлением коннектора spark-redis в качестве зависимости

Ответы 1

Другие вопросы по теме

Похожие вопросы