"нулевые" столбцы при создании производного столбца с помощью withColumns
В моем фрейме данных у меня есть столбец с именем parent_asset_xid.
Я хочу создать новый столбец parent_asset_sk, который будет md5(parent_asset_xid) или 00000000-0000-0000-0000-000000000000, если parent_asset_xid - это null.
Я пробую что-то подобное, но я не уверен, как интегрировать часть md5 в этот
mydf.withColumn(
"parent_asset_sk",
when($"parent_asset_xid".isnull, "00000000-0000-0000-0000-000000000000")
)
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
0
29
1
Ответы 1
Вы покрыли большую часть этого, вам просто нужно добавить otherwise к вам when,
val newDF = yourDF.withColumn(
"parent_asset_sk",
when(
col("parent_asset_xid").isNotNull,
md5(col("parent_asset_xid"))
).otherwise(lit("00000000-0000-0000-0000-000000000000"))
)
Другие вопросы по теме
Сбор строк на основе уникального идентификатора фрейма данных Pandas
Нарезка строк переменной длины столбцов pandas на основе условий
Повторять строки во фрейме данных в соответствии с вектором
Spark 2.0+ Даже фрейм данных кэшируется, если один из его источников изменится, он будет пересчитывать?
Добавление столбца во фрейм данных на основе подмножества того же фрейма данных
Ведение хронологической таблицы с обновлениями новых данных на userID- SQL
Эффективно найти индекс значений DataFrame в массиве
Pandas read_csv в несколько фреймов данных
Есть ли способ применить матрицу перехода к строкам в Python или R?
Как усреднить значения на основе разных индексов строк в Python
Похожие вопросы
Проблема с отображением в Scala с использованием Cassandra DB
Spark 2.0+ Даже фрейм данных кэшируется, если один из его источников изменится, он будет пересчитывать?
Как правильно использовать IO и OptionT на уровне обслуживания в for-complation?
Настройка Activator в игровом фреймворке
Как использовать Hcursor или Optics в составе Circe-Json для возврата списка подходящих объектов?
Загадочный каталог, созданный во время компиляции maven
Почему исключенные зависимости не исключаются в задаче публикации sbt
Сохраните последовательность JsObject в файл JSON
Найдите расположение индексов по шаблону регулярного выражения и замените их списком индексов в Scala
Как читать значения карты из foreach в scala