Захватывать значения и имена столбцов на основе значений строк — столбцы с диапазонами
У меня есть этот фрейм данных
df = pd.DataFrame( {'R': {0: '01', 1: '02', 2: '03', 3: '04', 4: '05', 5: '06', 6: '07'}, 'name': {0: 'b', 1: 'm', 2: '', 3: '', 4: 'b', 5: 'mi,b,m,c', 6: 'mi,e,w,c'}, 'value': {0: ['5.01e-13'], 1: ['9.74e-32'], 2: np.nan, 3: np.nan, 4: ['8.58e-09'], 5: ['1.04e-01', '1.18e-01', '7.19e-08', '1.06e-01'], 6: ['2.64e-01', '3.05e-01', '1.77e-01', '2.28e-01']}, } )
что дает:
R name value
0 01 b [5.01e-13]
1 02 m [9.74e-32]
2 03 NaN
3 04 NaN
4 05 b [8.58e-09]
5 06 mi,b,m,c [1.04e-01, 1.18e-01, 7.19e-08, 1.06e-01]
6 07 mi,e,w,c [2.64e-01, 3.05e-01, 1.77e-01, 2.28e-01]
Мне нужно 2 новых столбца
df['name2']= displays name from df['name'] that has df['value'] < 0.05
df['value2']= displays value from df['value'] that is < 0.05
Ниже приведен желаемый результат:
R name value name2 value2
0 01 b [5.01e-13] b [5.01e-13]
1 02 m [9.74e-32] m [9.74e-32]
2 03 NaN
3 04 NaN
4 05 b [8.58e-09] b [8.58e-09]
5 06 mi,b,m,c [1.04e-01, 1.18e-01, 7.19e-08, 1.06e-01] m [7.19e-08]
6 07 mi,e,w,c [2.64e-01, 3.05e-01, 1.77e-01, 2.28e-01]
Я пробовал несколько вариантов, таких как
df['name2']=np.where[(df['value']<0.05), df['name'],'']
или код, полученный из этот ответ, но, к сожалению, это не сработало.
@DollarAkshay правильно. Если будет несколько значений со значением <0,05, желаемые столбцы [''name2'] и ['value2'] будут иметь несколько букв и значений соответственно.
А также я предполагаю, что name будет иметь такое же количество предметов, что и value, верно?
@DollarAkshay правильно. Столбец ['value'] показывает значения, связанные с именами в столбце ['name']. Таким образом, в обоих столбцах находится одинаковое количество элементов.
Ответы 2
Подход панд:
Split, explode, затем отфильтруйте строки, где значение равно < .05, сгруппируйте отфильтрованные строки по level=0 и агрегируйте, используя join.
cols = ['name', 'value']
df1 = df[cols].assign(name=df['name'].str.split(',')).dropna().explode(cols)
df.join(df1[pd.to_numeric(df1['value']) < 0.05].groupby(level=0).agg(','.join).add_suffix('2'))
R name value name2 value2
0 01 b [5.01e-13] b 5.01e-13
1 02 m [9.74e-32] m 9.74e-32
2 03 NaN NaN NaN
3 04 NaN NaN NaN
4 05 b [8.58e-09] b 8.58e-09
5 06 mi,b,m,c [1.04e-01, 1.18e-01, 7.19e-08, 1.06e-01] m 7.19e-08
6 07 mi,e,w,c [2.64e-01, 3.05e-01, 1.77e-01, 2.28e-01] NaN NaN
Примечание: Как правило, не рекомендуется хранить сложные типы данных (такие как списки, словари) в фреймах данных, если у вас нет очень веской причины. Это ужасно повлияет на производительность.
Во-первых, вам нужно преобразовать столбец name из строки в массив строк, разделив его на символ ,.
df['name'] = df['name'].apply(lambda x: x.split(','))
Теперь вы можете просто применить другую лямбда-функцию, чтобы получить желаемый результат для столбца name2.
def calc(x):
if x['value'] is np.nan:
return []
res = []
for i,v in enumerate(x['value']):
v = float(v)
if v < 0.05:
res.append(x['name'][i])
return res
df['name2'] = df.apply(lambda x: calc(x), axis=1)
print(df)
Выход
R name value name2
0 01 [b] [5.01e-13] [b]
1 02 [m] [9.74e-32] [m]
2 03 [] NaN []
3 04 [] NaN []
4 05 [b] [8.58e-09] [b]
5 06 [mi, b, m, c] [1.04e-01, 1.18e-01, 7.19e-08, 1.06e-01] [m]
6 07 [mi, e, w, c] [2.64e-01, 3.05e-01, 1.77e-01, 2.28e-01] []
что, если несколько значений меньше
0.05, тогдаname2должно состоять из нескольких букв?