Панды: конвертировать столбцы списков в один список

У меня есть фреймворк списков, похожий на приведенный ниже (рис. а). Существует один ключевой столбец, за которым следуют столбцы ннg>, содержащие списки. Моя цель состоит в том, чтобы для каждой строки я объединил списки из каждого столбца (за исключением ключа) в один список в новом столбце, combined. Пример желаемого результата показан ниже на рисунке B.

Я пробовал некоторые методы с iteritems(), но эти кадры данных могут иметь длину от сотен тысяч до миллионов строк, что делает его невероятно медленным. Поэтому я стараюсь избегать решений, которые используют это.

Я хотел бы использовать что-то вроде понимания списка, показанного в этот ТАК пост, но мне не удалось заставить его работать с пандами.

# example data
data = {'key': ['1_1', '1_2', '1_3'],
        'valueA': [[1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12], [13, 14, 15, 16, 17, 18]],
        'valueB': [[1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12], [13, 14, 15, 16, 17, 18]],
        'valueN': [[1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12], [13, 14, 15, 16, 17, 18]]}
dataSet = pd.DataFrame(data)

Рисунок А

enter image description here

Рисунок Б

enter image description here

Обновлено: я очень ценю все ответы, которые я получил до сих пор! В настоящее время я просматриваю и синхронизирую каждый в своем полноразмерном наборе данных, чтобы понять, какой из них будет работать лучше всего в этом случае. Я обновлю с моим результатом в ближайшее время!

Редактировать 2: я протестировал основные решения, представленные здесь, на нескольких моих больших наборах данных, и их среднее время ниже.

# Lambda/Apply a nested list comprehension
shakiba.mrd: 1.12 s

# Sum columns
jfaccioni: 2.21 s

# Nested list comprehension with iterrows
mozway: 0.95 s

# Adding column lists together
politinsa: 3.50 s

Еще раз спасибо всем за их вклад!

При работе со списками в pandas у вас нет выбора, кроме как зацикливаться (явно или неявно)

mozway 17.05.2022 22:38
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
3
1
47
5
Перейти к ответу Данный вопрос помечен как решенный

Ответы 5

Вы можете добавлять списки в python

df['combined'] = df['valueA'] + df['valueB'] + df['valueN']

Или для нескольких столбцов:

df['combined'] = [[] for _ in range(len(df))]
for letter in ['A', 'B', 'C', ...., 'N']:
    df['combined'] += df[f'value{letter}']

Это может выглядеть как хорошее решение, но многократное добавление списка имеет квадратичную сложность, и поэтому его действительно следует избегать.

mozway 17.05.2022 22:29

@mozway да, но мой ответ здесь не проблема, это их вопрос. Если он хочет объединить несколько списков (это был их вопрос), он может использовать мое решение. Настоящая проблема заключается в том, почему они должны объединять списки в первую очередь, и является ли этот шаг критичным по времени.

politinsa 17.05.2022 22:39

Сначала вы должны объединить эти столбцы в один новый столбец:

merge_columns = list(dataSet.columns)
merge_columns.remove("key")
dataSet["combined"] = dataSet[merge_columns].values.tolist()

Затем вы должны составить список из списка списков в каждой строке:

dataSet["combined"] = dataSet["combined"].apply(lambda x: [item for sublist in x for item in sublist])

Вы можете просто выбрать столбцы, содержащие списки, а затем суммировать столбцы с помощью .sum(axis=1).

Это работает следующим образом:

import pandas as pd

data = {
    'key': ['1_1', '1_2', '1_3'],
    'valueA': [[1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12], [13, 14, 15, 16, 17, 18]],
    'valueB': [[1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12], [13, 14, 15, 16, 17, 18]],
    'valueN': [[1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12], [13, 14, 15, 16, 17, 18]],
}
dataSet = pd.DataFrame(data)

columns_to_combine = ['valueA', 'valueB', 'valueN']

dataSet['combined'] = dataSet[columns_to_combine].sum(axis=1)
dataSet.drop(columns=columns_to_combine, inplace=True) # remove the old columns

print(dataSet)

# output:
#    key                                                                  combined
# 0  1_1                    [1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6]
# 1  1_2           [7, 8, 9, 10, 11, 12, 7, 8, 9, 10, 11, 12, 7, 8, 9, 10, 11, 12]
# 2  1_3  [13, 14, 15, 16, 17, 18, 13, 14, 15, 16, 17, 18, 13, 14, 15, 16, 17, 18]
sum в списках имеет квадратичную сложность, поскольку он снова строит новый список для каждого добавленного элемента.
mozway 17.05.2022 22:39

Это самый простой способ достичь своей цели.

dataSet['Lists'] = dataSet['valueA'] + dataSet['valueB'] + dataSet['valueN']
dataSet.drop(columns=['valueA','valueB',"valueN"],inplace=True)
print(dataSet)
Ответ принят как подходящий

Вы можете использовать понимание вложенного списка:

dataSet['combined'] = [[e for l in x for e in l]
                       for _,x in dataSet.filter(like='value').iterrows()]

Выход:

   key                    valueA                    valueB                    valueN                                                                  combined
0  1_1        [1, 2, 3, 4, 5, 6]        [1, 2, 3, 4, 5, 6]        [1, 2, 3, 4, 5, 6]                    [1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6]
1  1_2     [7, 8, 9, 10, 11, 12]     [7, 8, 9, 10, 11, 12]     [7, 8, 9, 10, 11, 12]           [7, 8, 9, 10, 11, 12, 7, 8, 9, 10, 11, 12, 7, 8, 9, 10, 11, 12]
2  1_3  [13, 14, 15, 16, 17, 18]  [13, 14, 15, 16, 17, 18]  [13, 14, 15, 16, 17, 18]  [13, 14, 15, 16, 17, 18, 13, 14, 15, 16, 17, 18, 13, 14, 15, 16, 17, 18]

Сравнение времени с повторным добавлением (100 строк, 100 столбцов, 1000 элементов в списке):

# repeated addition of the lists
8.66 s ± 309 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# nested list comprehension
729 ms ± 285 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Другие вопросы по теме