Проблема в том, что предварительная обработка не применяется к вашим наборам eval, поэтому модель работает на них довольно плохо, и ранняя остановка срабатывает очень рано.

Я не уверен, что есть простой способ сделать это, к сожалению, чтобы все было в одном конвейере. Вам необходимо применить этапы предварительной обработки конвейера к наборам eval, поэтому их необходимо настроить перед установкой этого параметра.

Отдельная предварительная обработка

Как два объекта это не проблема:

preproc = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', preprocessing.StandardScaler()),
])

reg = xgboost.XGBRegressor(n_estimators=100, eta=0.1, objective = "reg:squarederror")

train_x_preproc = preproc.fit_transform(train_x.values, train_y.values)
test_x_preproc = preproc.transform(test_x)

reg.fit(train_x.values, train_y.values, 
    regressor__early_stopping_rounds=20, 
    regressor__eval_metric = "rmse", 
    regressor__eval_set = [[train_x_preproc, train_y.values], [test_x_preproc, test_y.values]],
)

После подгонки вы можете объединить эти уже подобранные оценки в конвейер (конвейеры не клонируют свои оценки) для предсказания, если хотите.

Пользовательский оценщик

Есть много способов сделать это, но наследование от Pipeline означает, что вы можете инициализировать так же, как вы делаете текущую настройку, и мы просто предполагаем, что последний шаг — это модель xgboost, а остальные — предварительная обработка, которую необходимо применить к наборы eval, а также наборы для подгонки и прогнозирования. Думаю, все остальное можно оставить унаследованным от Pipeline методам?

class PreprocEarlyStoppingXGB(Pipeline):
    def fit(self, X, y, eval_set):
        preproc = self.steps[:-1]
        X_preproc = preproc.fit_transform(X, y)
        eval_preproc = []
        for eval in eval_set:
            eval_preproc.append([preproc.transform(eval[0]), eval[1]])
        self.steps[-1].fit(X_preproc, y, eval_set=eval_preproc)
        return self

Что касается вашего варианта использования из комментариев, что происходит, когда вы выполняете перекрестную проверку с этим объектом? На каждой тренировочной складке установлены этапы предварительной обработки. Затем они применяются к обучающей выборке и ко всем оценочным наборам (всему обучающему набору, а также внешнему тестовому набору) и, наконец, при подсчете тестовой выборки. Модель xgboost тренируется на предварительно обработанной обучающей выборке и отслеживает результаты всего обучающего набора и внешнего тестового набора (оба были предварительно обработаны), причем последний используется для ранней остановки.