Питон/панды. Для цикла на нескольких кадрах данных не работает правильно
Я пытаюсь обработать список фреймов данных (пример показывает 2, в реальности их гораздо больше) несколькими способами, используя цикл for. Удаление столбцов в фрейме данных, на который ссылается цикл, работает нормально, однако concat ничего не делает внутри цикла. Я ожидаю обновить исходный фрейм данных, указанный в dfs.
ОБНОВЛЕННАЯ ПОСТАНОВКА ПРОБЛЕМЫ
Предыдущие примеры не охватывают этот случай/похоже, не работают. Пример адаптирован отсюда: фрейм данных pandas concat с использованием цикла for не работает
Минимизация примера приводит к следующему (код частично заимствован из другого вопроса)
import numpy as np
import pandas as pd
data = [['Alex',10],['Bob',12],['Clarke',13]]
data2 = ['m','m','x']
A = pd.DataFrame(data, columns=['Name','Age'])
B = pd.DataFrame(data, columns=['Name','Age'])
C = pd.DataFrame(data2, columns=['Gender'])
#expected result for A:
Anew=pd.DataFrame([['Alex','m'],['Bob','m'],['Clarke','x']], columns=['Name', 'Gender'])
dfs = [A,B]
for k, v in enumerate(dfs):
# The following line works as expected on A an B respectively, inplace is required to actually modify A,B as defined above
dfs[k]=v.drop('Age',axis=1, inplace=True)
# The following line doesn't do anything, I was expecting Anew (see above)
dfs[k] = pd.concat([v, C], axis=1)
# The following line prints the expected result within the loop
print(dfs[k])
# This just shows A, not Anew: To me tha tmeans A was never updated with dfs[k] as I thought it would.
print(A)
Ответы 1
Обновлять
Пытаться:
data = [['Alex',10],['Bob',12],['Clarke',13]]
data2 = ['m','m','x']
A = pd.DataFrame(data, columns=['Name','Age'])
B = pd.DataFrame(data, columns=['Name','Age'])
C = pd.DataFrame(data2, columns=['Gender'])
Anew = pd.DataFrame([['Alex','m'],['Bob','m'],['Clarke','x']], columns=['Name', 'Gender'])
dfs = [A, B]
for v in dfs:
v.drop('Age', axis=1, inplace=True)
v['Gender'] = C
print(A)
print(Anew)
Выход:
>>> A
Name Gender
0 Alex m
1 Bob m
2 Clarke x
>>> Anew
Name Gender
0 Alex m
1 Bob m
2 Clarke x
Если вы используете inplace=True, Pandas не возвращает DataFrame, поэтому dfs теперь None:
dfs[k]=v.drop('Age', axis=1, inplace=True) # <- Remove inplace=True
Пытаться:
dfs = [A, B]
for k, v in enumerate(dfs):
dfs[k] = v.drop('Age', axis=1)
dfs[k] = pd.concat([v, C], axis=1)
out = pd.concat([A, C], axis=1)
Выход:
>>> out
Name Age Gender
0 Alex 10 m
1 Bob 12 m
2 Clarke 13 x
Я обновил свой ответ. Интересно, действительно ли вам нужен pd.concat.
В этом случае вы этого не сделаете. Однако это упрощенный случай. C имеет несколько столбцов, которые определяются в другой части цикла. Отсюда мое желание объединить два фрейма данных. Однако я мог бы использовать другой цикл, чтобы добавить содержимое C по столбцам, как описано. Кажется неуклюжим :/
Я знаю, но если вы хотите изменить фреймы данных на месте, у вас не так много решений :-(
Последнее замечание, чтобы двигаться дальше: проголосовал за это как за решение. Спасибо. Тем не менее, я все еще удивлен, что concat не может быть использован для решения проблемы. Окончательное решение включает в себя простой for col в C.columns: dfs[k][col]=C[col]
К вашему сведению, параметр inplace будет объявлен устаревшим в будущей версии Pandas: github.com/pandas-dev/pandas/issues/16529.
Спасибо, однако я считаю, что это не решает проблему (см. обновленное заявление). concat в цикле for ничего не делает с фактическими кадрами данных A и B. Делая это вручную после того, как цикл for работает, но в первую очередь побеждает цель for.