Преобразование столбца PySpark из строк в списки
У меня есть столбец PySpark, который состоит из строк и списков, тип данных этого столбца — строка, string (nullable = true), я хочу изменить его, чтобы он состоял только из списков, и преобразовать все, что не является списком, в NULL.
Я пробовал этот код:
df.select(F.split(F.col("major_options"),",")).alias('major_options').show()
но вместо этого он создаст список из всего, а не изменит существующий тип данных списка. Я также пробовал использовать метод cast, но получил эту ошибку:
AnalysisException: [DATATYPE_MISMATCH.CAST_WITHOUT_SUGGESTION] Невозможно разрешить «major_options» из-за несоответствия типа данных: невозможно привести «STRING» к «ARRAY».
Обновлено: вот как выглядит столбец:
|['Alloy Wheels'] |
|['Light Package', 'Alloy Wheels', 'Bluetooth'] |
|Steering wheel memory |
|Knee airbag |
|['Sunroof/Moonroof', 'Alloy Wheels', 'Bluetooth', 'Parking Sensors'] |
|['Alloy Wheels', 'Bluetooth'] |
и вот как я хочу, чтобы это выглядело:
|['Alloy Wheels'] |
|['Light Package', 'Alloy Wheels', 'Bluetooth'] |
|NULL |
|NULL |
|['Sunroof/Moonroof', 'Alloy Wheels', 'Bluetooth', 'Parking Sensors'] |
|['Alloy Wheels', 'Bluetooth'] |
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
1
54
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Вы можете использовать regexp_extract, чтобы проверить, содержит ли строка открывающие и закрывающие квадратные скобки, а затем соответствующим образом разделить ее следующим образом:
from pyspark.sql import SparkSession
from pyspark.sql.functions import split, when, col, lit, regexp_extract
spark = SparkSession.builder.getOrCreate()
data = [
("['Alloy Wheels']",),
("['Light Package', 'Alloy Wheels', 'Bluetooth']",),
("Steering wheel memory",),
("Knee airbag",),
("['Sunroof/Moonroof', 'Alloy Wheels', 'Bluetooth', 'Parking Sensors']",),
("['Alloy Wheels', 'Bluetooth']",),
]
df = spark.createDataFrame(data, ["major_options"])
print("original schema:")
df.printSchema()
print("original df:")
df.show(truncate=False)
df = df.withColumn(
"major_options",
when(
regexp_extract(col("major_options"), r"^\[(.*)\]$", 1) != "",
split(regexp_extract(col("major_options"), r"^\[(.*)\]$", 1), ","),
).otherwise(lit(None)),
)
print("modified schema:")
df.printSchema()
print("modified df:")
df.show(truncate=False)
Выход:
original schema:
root
|-- major_options: string (nullable = true)
original df:
+--------------------------------------------------------------------+
|major_options |
+--------------------------------------------------------------------+
|['Alloy Wheels'] |
|['Light Package', 'Alloy Wheels', 'Bluetooth'] |
|Steering wheel memory |
|Knee airbag |
|['Sunroof/Moonroof', 'Alloy Wheels', 'Bluetooth', 'Parking Sensors']|
|['Alloy Wheels', 'Bluetooth'] |
+--------------------------------------------------------------------+
modified schema:
root
|-- major_options: array (nullable = true)
| |-- element: string (containsNull = false)
modified df:
+-----------------------------------------------------------------------+
|major_options |
+-----------------------------------------------------------------------+
|['Alloy Wheels'] |
|['Light Package', 'Alloy Wheels', 'Bluetooth'] |
|NULL |
|NULL |
|['Sunroof/Moonroof', 'Alloy Wheels', 'Bluetooth', 'Parking Sensors']|
|['Alloy Wheels', 'Bluetooth'] |
+-----------------------------------------------------------------------+
Другие вопросы по теме
Невозможно получить доступ к zip/exe из ADLSv2 в синапс
Ярлык Spark getItem
Json & PySpark – прочитать значение из структуры, которая может быть нулевой
Невозможно прочитать текстовый файл в задании склеивания
Условное разделение на основе списка столбцов
Как использовать регулярное выражение pyspark для правильного разрыва данных с каналом, разделенным буквальным каналом внутри?
Почему мой столбец row_number в PySpark испорчен при применении схемы?
Как рассчитать разницу в днях с указанными условиями между строками в pyspark
Вложенное условие для простых данных
Проблема с несколькими заданиями структурированной потоковой передачи Spark, использующими одну и ту же тему Kafka
Похожие вопросы
Ярлык Spark getItem
Условное разделение на основе списка столбцов
Как использовать регулярное выражение pyspark для правильного разрыва данных с каналом, разделенным буквальным каналом внутри?
Почему мой столбец row_number в PySpark испорчен при применении схемы?
Вложенное условие для простых данных
Проблема с несколькими заданиями структурированной потоковой передачи Spark, использующими одну и ту же тему Kafka
Есть ли способ сохранить словарь как значение столбца в pyspark?
Подсчет элементов в массиве и преобразование счетчиков в столбцы
Как загрузить локальный файл CSV в Spark с помощью опции --files
Pyspark — взорвать столбец фрейма данных, содержащий json
Не могли бы вы поделиться примерами списков и строк из столбца, о котором вы говорите, чтобы нам было легче вам в этом помочь? Пожалуйста, прочтите минимальный воспроизводимый пример.