Апсемплинг набора данных с использованием pandas и sklearn — Python

Вот способ сделать это для каждого класса. Обратите внимание, что я не уверен, что это не повлияет на какую-либо модель после этого, здесь недостаточно опыта. Сначала давайте создадим фиктивные данные, которые будут ближе к вашим реальным данным.

# dummy data
np.random.seed(0)
df = pd.DataFrame({
         'relevance':np.random.choice(a=[0]*14810+[1]*190,size=15000, replace=False), 
         'class':list('ABCDEFGHIKLMNOP')*1000,
         2 : np.random.randint(0,100, 15000), 3 : np.random.randint(0,100, 15000),
         4 : np.random.randint(0,100, 15000), 5 : np.random.randint(0,100, 15000),
})

Просто некоторая проверка релевантности класса, вам все равно понадобится эта информация. У вас есть весь класс с 1000 образцов, и каждый класс имеет разное количество relevance=1

ct = pd.crosstab(df['class'], df['relevance'])
print(ct.head())
# relevance    0   1
# class             
# A          983  17
# B          982  18
# C          990  10
# D          993   7
# E          993   7

Теперь вы можете рассчитать количество апсэмплов, необходимых для каждого класса. Обратите внимание, что мы можем определить это несколькими способами, и особенно изменить 1000 на любое число.

nb_upsample = (1000*ct[0].mean()/ct[0]).astype(int)
print(nb_upsample.head())
# class
# A    1004
# B    1005
# C     997
# D     994
# E     994
# Name: 0, dtype: int32

Теперь вы можете увеличить частоту дискретизации для каждого класса

df_1_upsampled = (
    df_minority.groupby(['class'])
      .apply(lambda x: resample(x, random_state=1, replace=True,
                                n_samples=nb_upsample[x.name]))
      .reset_index(drop=True)
)
print(df_1_upsampled['class'].value_counts().head())
# B    1005
# A    1004
# L    1004
# M    1003
# H    1001
# Name: class, dtype: int64

Наконец, concat и проверьте класс отношения и релевантность

df_upsampled = pd.concat([df_1_upsampled,df_rest])
print(df_upsampled['class'].value_counts().head()) #same ratio
# A    1987
# B    1987
# C    1987
# D    1987
# E    1987
# Name: class, dtype: int64
print(df_upsampled['relevance'].value_counts()) # almost same relevance number
# 1    14995 #this number is affected by the 1000 in nb_upsample
# 0    14810
# Name: relevance, dtype: int64

Вы можете видеть, что теперь релевантность = 1 больше. Что вы можете сделать, так это изменить 1000 в строке, определяющей nb_upsample, на любое число, которое вы хотите. Вы также можете использовать nb_upsample = (ct[0].mean()**2/ct[0]).astype(int), чтобы сбалансировать обе категории релевантности.