Как преобразовать фрейм данных в Seq в Zeppelin (Scala)
Я хочу преобразовать свой фрейм данных в Seq в Zeppelin.
Мой Dataframe, как показано ниже
+--+-------+-----+
|id| charid| name|
+--+-------+-----+
| 1| a1| ad|
| 2| a2| agf|
| 3| a3| ged|
| 4| a4| nom|
| 5| a5| scal|
| 6| a6| tip|
| 7| a7| low|
+--+-------+-----+
Итак, как я могу преобразовать это в Seq, как показано ниже.
Seq[Длинный, (Строка, Строка)]
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
0
282
2
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 2
Вы можете использовать collect и toSeq для преобразования в Seq. Убедитесь, что ваш набор данных достаточно мал, чтобы поместиться в узле драйвера.
df.rdd
.map(r => (r.getLong(0), (r.getString(1), r.getString(2))))
.collect()
.toSeq
Или
df.collect
.map(r => (r.getLong(0), (r.getString(1), r.getString(2))))
.toSeq
@mck Можете ли вы предоставить схему вашего фрейма данных?
—
22.12.2020 09:34
спасибо, я увидел, что не так, моя схема имеет тип int. Я отредактировал свой ответ, чтобы преобразовать столбцы в длинный тип, чтобы предотвратить проблемы, потому что я не уверен, как выглядит схема OP.
—
22.12.2020 09:40
Ответ принят как подходящий
Попробуйте использовать map и toSeq?
val result = df.select($"id".cast("long"), $"charid", $"name")
.rdd
.map(row => (row(0).asInstanceOf[Long], (row(1).asInstanceOf[String], row(2).asInstanceOf[String])))
.collect
.toSeq
Другие вопросы по теме
Как найти среднее значение массивов (столбец массива) на 0-й оси в фрейме данных PySpark?
Команда spark-submit с параметром --py-files завершается ошибкой, если путь к классу драйвера или путь к классу исполнителя не задан
У меня есть столбец (массив строк) в фрейме данных PySpark. Как разбить массив и сделать отдельные строки для каждого элемента строки в массиве?
Добавление элемента списка в столбец фрейма данных
Что это значит ? ПРЕДУПРЕЖДЕНИЕ: root: переменная среды PYARROW_IGNORE_TIMEZONE не была установлена
Сбой извлечения выражения на scala
Получение этой ошибки: несоответствующий ввод "от", ожидающий <EOF>, в то время как Spark SQL
Инструменты объекта не являются членами пакета scala
Неоднозначная ссылка при агг в Pyspark
Значения становятся нулевыми для всех столбцов в фрейме данных spark scala
Похожие вопросы
Материализованное значение потока akka с использованием различных опций
Создание рекурсивного кода, хвостовая рекурсия в Scala
Является ли приведение функции [X, Y] X => Y к X => () безопасным, пока я игнорирую возвращаемое значение?
Сбой извлечения выражения на scala
Основные различия между scala.util.Success и akka.actor.Status.Success?
Использование отражения для проверки того, что все экземпляры признака имеют уникальное поле
Как можно присвоить ArrayBuffer[Implementation] ArrayBuffer[Interface] в Scala
Инструменты объекта не являются членами пакета scala
Преобразование строки с неправильным форматированием в класс Scala
Каждый случай как отдельный тест в ScalaTest — стиль JUnit ParameterizedTest
Я думал об этом в начале, но на моей машине выдает ошибку
java.lang.String incompatible with java.lang.Long...