Как записать набор данных в таблицу Cassandra с помощью разъема spark-cassandra?

Я пытаюсь сохранить структурированный набор данных Steaming в заданную таблицу Cassandra.

Я использую версию коннектора datastax cassandra spark-cassandra-connector_2-11.jar

Пока я пытаюсь сохранить набор данных, как показано ниже

dataSet
    .writeStream()
    .format("org.apache.spark.sql.cassandra")
    .option("table",table)
    .option("keyspace", keyspace)
    .outputMode("append")
    .start();

Ошибка броска:

Data source org.apache.spark.sql.cassandra does not support streamed writing

Что делать и как с этим бороться?

Может это поможет: stackoverflow.com/questions/50037285/…

— 30.05.2019 10:48

@Shaido, спасибо, но я использую версию Cassandra 3.x с открытым исходным кодом. Не ДСЭ. любое предложение, как другие люди делают?

— 30.05.2019 15:05

Я сам не слишком знаком с этим, если честно. Вы видели второй ответ в ссылке выше? Похоже, это должно работать для Cassandra (не DSE).

— 30.05.2019 16:21

Возможный дубликат Запись данных Spark Structure Streaming в Cassandra

— 14.06.2019 08:55

apache-spark cassandra apache-spark-sql spark-structured-streaming spark-cassandra-connector

30.05.2019 09:21

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

280

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Есть несколько вариантов относительно него:

При использовании Spark Cassandra Connector (SCC) версии 2.x, Spark < 2.4 и OSS Cassandra единственным вариантом является реализация пользовательской операции forEach, например, сделано здесь;
Со Spark Cassandra Connector версии 2.x, Spark >= 2.4 и OSS Cassandra мы можем использовать forEachBatch только с обычной операцией записи, например здесь;
Для DSE мы можем просто использовать data.writeStream().format("org.apache.spark.sql.cassandra"), так как у DSE Analytics есть собственный SCC;
Начиная с SCC 2.5, специфичные для DSE функции открыты и для OSS Cassandra, поэтому мы можем использовать их так же, как и для DSE, как показано в документах.

13.04.2020 20:14

Другие вопросы по теме

Как получить имя пространства ключей из сеанса cassandra

Запрос обновления CQL не работает с использованием Python

Как установить переменные в предложении «Где» при чтении таблицы cassandra с помощью искрового потока?

Совместимость sstabloader между datastax cassandra и apache cassandra

Сканирование надгробий в system.log

Кассандра, как выбрать токен для составного первичного ключа

Java-клиент Cassandra с использованием openssl

Как использовать описания ключей; команда в блокноте jupyter

Почему Cassandra занимает так много памяти, несмотря на параметр кучи -Xmx?

Почему у Cassandra нет вторичного индекса?

Как записать набор данных в таблицу Cassandra с помощью разъема spark-cassandra?

Ответы 1

Другие вопросы по теме

Похожие вопросы