Удаление выбросов с помощью IQR не работает, форма кадра данных не меняется
У меня есть набор данных, в котором указаны веса и высоты, и я хочу удалить все выбросы в двух столбцах, используя один и тот же код, например этот (мои переменные — float640:
for c in df.columns[0:2]:
Q1= np.percentile(df[c],25)
Q3= np.percentile(df[c],75)
IQR= Q3-Q1
upper= Q3+ 1.5*IQR
lower= Q1-1.5*IQR
upper_array=np.where(df[c]>=upper)[0]
lower_array=np.where(df[c]<=lower)[0]
df[c].drop(index=upper_array,inplace=True)
df[c].drop(index=lower_array, inplace=True)
Исходная форма данных была (3000,3), но после запуска кода форма не изменилась. Однако на самом деле в моих данных существует выброс введите описание изображения здесь введите описание изображения здесь
Я попытался изменить метод сброса (предложенный ИИ):
outlier_indices= np.concatenate((upper_array,lower_array))
df[c].drop(index=outlier_indices, inplace=True)
и
df= df[~upper_array]
df= df[~lower_array]
Но безрезультатно.
Что-то не так с моим кодом?
привет @mozway, это отсюда: kaggle.com/code/pratiksatriani/…
Ответы 1
Проблема в том, что вы удаляете индексы из копии столбца. Вам следует удалить их из полного фрейма данных:
df.drop(index=upper_array,inplace=True)
Имейте в виду, что это также приведет к удалению строк, в которых только один из двух столбцов имеет выброс.
Кроме того, поскольку этот процесс является итеративным, вы учитываете не исходную совокупность для второго столбца, а только ее подмножество. Я уже показал в этом ответе, что удаление выбросов чувствительно к итерации.
На мой взгляд, лучшим подходом должно быть использование функции для обозначения выбросов:
def iqr_outliers_flag(s):
q1, q3 = np.quantile(s, [0.25, 0.75])
iqr = q3 - q1
upper_bound = q1 + 1.5 * iqr
lower_bound = q3 - 1.5 * iqr
return (s<lower_bound) | (s>upper_bound)
Затем вы можете удалить строки, в которых:
все столбцы имеют выброс:
df[~df.apply(iqr_outliers_flag).all(axis=1)].shape
# final shape (2909, 2)
любой столбец имеет выброс:
df[~df.apply(iqr_outliers_flag).any(axis=1)].shape
# final shape (2011, 2)
Или оставьте форму без изменений и mask выбросы с NaN:
df2 = df.mask(df.apply(iqr_outliers_flag))
0 1
0 NaN 0.400157
1 0.978738 NaN
2 NaN -0.977278
3 0.950088 -0.151357
4 -0.103219 0.410599
... ... ...
2995 0.682201 -0.011214
2996 NaN -0.831492
2997 -0.407972 NaN
2998 0.352599 -0.537885
2999 0.393444 0.286518
[3000 rows x 2 columns]
Обратите внимание, что даже если вы замаскируете/удалите выбросы, ваша коробчатая диаграмма может отображать значения за пределами диапазона IQR 1,5, что является нормальным, поскольку отфильтрованная совокупность теперь имеет другую статистику и, следовательно, потенциально новые выбросы относительно нового значения IQR, , как описано здесь. .
Воспроизводимый ввод:
import pandas as pd
import numpy as np
np.random.seed(0)
df = pd.DataFrame(np.random.normal(size=(3000, 2)))
Исходные данные:
Фильтрация строк со всеми выбросами:
Фильтрация строк с любым выбросом:
большое спасибо, Мозвей. извините, я не смог проголосовать за него из-за нового аккаунта. твой ответ действительно полезен
Можете ли вы предоставить свои данные в качестве воспроизводимых входных данных?