Spark: отсортировать список по строке
В приведенном ниже коде я могу упорядочить список по «sortByKey». Однако требуется сортировка по строке в алфавитном порядке.
Ожидаемый результат должен быть:
Array((3,book),(2,cat),(7,cup),(5,heater),(6,mouse),(1,screen),(4,tv))
scala> val randRDD = sc.parallelize(List( (2,"cat"), (6, "mouse"),(7, "cup"), (3, "book"), (4, "tv"), (1, "screen"), (5, "heater")), 3)
randRDD: org.apache.spark.rdd.RDD[(Int, String)] = ParallelCollectionRDD[0] at parallelize at <console>:27
scala> randRDD.collect
res0: Array[(Int, String)] = Array((2,cat), (6,mouse), (7,cup), (3,book), (4,tv), (1,screen), (5,heater))
scala> randRDD.sortByKey().collect
res1: Array[(Int, String)] = Array((1,screen), (2,cat), (3,book), (4,tv), (5,heater), (6,mouse), (7,cup))
Структурированный массив Numpy
Однако в реальных проектах я чаще всего имею дело со списками, состоящими из нескольких типов данных. Как мы можем использовать массивы numpy, чтобы...
T - 1Bits: Генерация последовательного массива
По мере того, как мы пишем все больше кода, мы привыкаем к определенным способам действий. То тут, то там мы находим код, который заставляет нас...
Что такое деструктуризация массива в JavaScript?
Деструктуризация позволяет распаковывать значения из массивов и добавлять их в отдельные переменные.
1
0
2 587
1
Ответы 1
Вы можете использовать sortBy как
randRDD.sortBy(_._2).collect
//res2: Array[(Int, String)] = Array((3,book), (2,cat), (7,cup), (5,heater), (6,mouse), (1,screen), (4,tv))
или же
Просто использовать два обмена, один перед sortByKey и еще один после sortByKey
randRDD.map(_.swap).sortByKey().map(_.swap).collect
//res2: Array[(Int, String)] = Array((3,book), (2,cat), (7,cup), (5,heater), (6,mouse), (1,screen), (4,tv))
Другие вопросы по теме
Как добавить новый столбец во фрейм данных на основе двух столбцов других фреймов данных
Анализ простой строки json с использованием встроенных функций scala
Создать список экземпляров класса case
Как выполнить проверку на уровне столбца, присоединив один фрейм больших данных ко многим маленьким фреймам данных в Spark
Разделить коллекцию на основе логического значения на 2 коллекции Scala
Как предоставить массив значений в качестве переменной env в конфигурацию typeafe / lightbend?
Scala - как вызвать метод, который ожидает карту
Как отправить несколько искровых запросов параллельно с помощью SqlContext
Сообщение Spark .txt Kafka во фрейм данных
Безопасно ли такое использование потока HashMap?
Похожие вопросы
Псевдокод для проверки, является ли массив палиндромом
Получить все записи массива / карты, соответствующие строке
Раскрашивание прямоугольника с помощью p5.js
Typescript: поиск общих объектов из двух массивов с помощью лямбда-функции
Chartjs - Цикл через набор данных и назначение цветов
Объединение двух ассоциативных массивов, где второй массив имеет больше ключей php?
Я новичок в kotlin, может ли кто-нибудь помочь, как println (originalList [i]) вне функции
Убедитесь, что слово является изограммой с чистым javascript
Данные Json в массив javascript
Получить массив значений Enum за вычетом указанного элемента