Показаны только первые 20 строк
У меня есть набор потоковых данных. Он читает из потока Kafka и записывает в консоль.
val outputStream = inputStream.writeStream.format("console")
.option("truncate", value = false)
.option("checkpointLocation", "checkpoint")
outputStream.start()
spark.streams.awaitAnyTermination()
Однако, когда есть более одной записи, я получаю сообщение на консоли:
only showing top 20 rows
И он показывает только 20 записей. Есть ли способ получить все записи ??
Искра версия: 3.1.2
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
1
48
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Есть вариант numRows, например: 10000.
val outputStream = inputStream.writeStream.format("console")
.option("truncate", value = false)
.option("numRows",10000)
.option("checkpointLocation", "checkpoint")
Другие вопросы по теме
Ошибка при чтении столбца даты и даты и времени из mariadb через spark
Почему метод Spark RDD partitionBy имеет как количество разделов, так и функцию раздела?
Spark записывает дополнительные строки при сохранении в CSV
Есть ли способ без Spark UDF объединить два дистрибутива DataFrames, которые имеют разную поддержку?
Класс ошибки Spark java.util.HashMap не может быть приведен к классу java.lang.String
Базовая операция Spark ml в Java
Создайте повторяющиеся поля, которые подсчитывают повторяющиеся строки
Визуализация данных PySpark из строковых значений в столбцах
Сводные повторяющиеся значения в 2 разных столбца
Как узнать IP-адрес драйвера в кластере блоков данных?
Похожие вопросы
Есть ли способ без Spark UDF объединить два дистрибутива DataFrames, которые имеют разную поддержку?
Могу ли я использовать классы типов, чтобы получить не смешивание подклассов, общую реализацию объединения, а также вернуть тип подкласса?
Получить типы параметров класса case в виде HList
Scala Получение java.lang.ClassCastException: java.math.BigDecimal нельзя преобразовать в java.lang.Double
В Spark Scala, как проверить, сколько символов в строке в столбце фрейма данных указано в верхнем регистре?
Как выполнить группировку в spark scala, когда ключ не совпадает
Есть ли более эффективный способ проверить, заканчивается ли одна строка другой строкой в большом файле
Сопоставление шаблонов Scala pipe как переменная
Как преобразовать org.apache.spark.sql.Column в типы данных, такие как Long или String
Как эффективно удалить повторяющиеся строки в Spark Dataframe, сохранив строку с самой высокой отметкой времени
попробуйте использовать следующее
.outputMode("complete")