Pyspark – повторять значение до изменения в столбце

У меня есть фрейм данных с этой структурой

Номер заказа Номер строки Элемент Тип 12345 1 1001 Родитель 12345 2 1002 Ребенок 12345 3 1003 Ребенок 12345 4 1004 Ребенок 12345 5 1005 Родитель 12345 6 1006 Ребенок

Я хотел бы добавить столбец, в котором отображается «Родительский элемент» для каждого элемента. Родительский элемент — это первый родительский тип, за которым следует каждый дочерний элемент. Нет никаких отношений или ссылок, которые можно было бы использовать. Номер строки определяет детей для каждого родителя.

Номер строки Элемент Тип Родительский элемент 1 1001 Родитель 1001 2 1002 Ребенок 1001 3 1003 Ребенок 1001 4 1004 Ребенок 1001 5 1005 Родитель 1005 6 1006 Ребенок 1005

Номер родительского элемента должен повторяться до тех пор, пока не будет найден новый родительский элемент. Я попытался добавить столбец LAG для проверок, но не смог четко понять логику. Я чувствовал, что мне нужно больше одной колонки, но я не мог этого сделать.

Я также попробовал оконную функцию, чтобы «сгруппировать» их по номеру строки, разделить по номеру заказа и типу, но это не работает, поскольку отделяет родителей от детей.

python dataframe apache-spark pyspark apache-spark-sql

10.04.2024 21:24

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Попробуй это:

from pyspark.sql import functions as F
from pyspark.sql.window import Window

df = df.withColumn(
    "Parent_Item",
    F.last(F.when(F.col("Type") == "Parent", F.col("Item")), ignorenulls=True).over(
        Window.partitionBy("Order Number").orderBy("Line Number")
    ),
)

df.show()

Выход:

+------------+-----------+----+------+-----------+
|Order Number|Line Number|Item|  Type|Parent_Item|
+------------+-----------+----+------+-----------+
|       12345|          1|1001|Parent|       1001|
|       12345|          2|1002| Child|       1001|
|       12345|          3|1003| Child|       1001|
|       12345|          4|1004| Child|       1001|
|       12345|          5|1005|Parent|       1005|
|       12345|          6|1006| Child|       1005|
+------------+-----------+----+------+-----------+

Ответы только на код не одобряются, вам действительно следует добавить объяснение.

— 10.04.2024 22:15

10.04.2024 22:04