Является ли это допустимым подходом к масштабированию вашей цели в машинном обучении без утечки информации?
Рассмотрим набор данных о ценах на жилье, целью которого является прогнозирование цены продажи.
Вместо этого я хотел бы сделать это, предсказав «Цена продажи за квадратный метр», так как это дает лучшие результаты.
Вопрос в том, если я реализую это так - это приведет к утечке информации в тестовом наборе или нет?
Когда я разделил свой набор данных в scikit, узнайте:
df= read(Data)
target = df["SalePrice"]
df.drop(columns=["SalePrice"], inplace=True)
X_train, X_test, y_train, y_test = train_test_split(df, target, test_size=0.20)
А затем масштабируйте y_train:
# Scale target by LivingSpace and call fit()
y_train = target/X_train["LivingSpace"]
estimator.fit(X_train, y_train)
И используйте прогнозирование и масштабирование цели в y_test, чтобы получить SalePrice per Squaremeter:
y_pred, y_true = estimator.predict(X_test), y_test/X_test["LivingSpace"]
Я думаю, что это правильно, так как я масштабирую цель только на известное значение. Не должно иметь значения, предсказываю ли я SalePrice напрямую или SalePrice / LivingSpace, поскольку LivingSpace в любом случае дается мне, когда я предсказываю цену.
Если это так, мы могли бы также напрямую применить это целевое преобразование к набору поездов и тестов и просто преобразовать предсказанные значения обратно в конце, верно?
Это, конечно, также должно быть верным для любой функции, указанной в X. Пока информация о самой цели НЕ присутствует в X, я не вижу здесь проблемы. Помните, что истинной целью является только цена продажи, поэтому я намерен уменьшить ее по сравнению с продажной ценой за квадратный метр. Преобразование просто используется для улучшения результатов обучения.
Что вы думаете об этом коде?
Ответы 1
Все хорошо.
1 · Вы не сливаете информацию.
2 · Вы можете напрямую применить это целевое преобразование к обучающим и тестовым наборам и преобразовать их обратно после прогнозирования.
3. Вы можете сделать это для любой функции, указанной в X. Вам не нужно замечание об информации о цели. Вы всегда можете преобразовать y с помощью X любым способом, который вы хотите, единственное, что вы «сливаете», — это ваше собственное понимание проблемы, что абсолютно нормально.
4· В вашем коде есть ошибка, а не
y_train = target/X_train["LivingSpace"]
Вы должны иметь
y_train = y_train/X_train["LivingSpace"]
y_test = y_test/X_test["LivingSpace"]
Я голосую за то, чтобы закрыть этот вопрос, потому что речь идет не о программировании, как это определено в центр помощи, а о теории и/или методологии машинного обучения — см. введение и ПРИМЕЧАНИЕ в stackoverflow.com/tags/машинное обучение/информация.