Ошибка при использовании специального преобразователя в конвейере SKLearn, но не в качестве автономного преобразователя

Я не знаю, что является причиной конкретного TypeError, о котором вы сообщили, но этот ответ решает еще одну проблему с классом.

Шаги, предшествующие вашему пользовательскому преобразователю, возвращают массивы numpy, что может привести к ошибке пользовательского преобразователя, поскольку он ожидает фрейм данных pandas.

Я собирался предложить использовать StandardScaler().set_output(transform='pandas') и SimpleImputer().set_output(transform='pandas'), чтобы настроить их для возврата кадров данных, однако я думаю, что это приведет к ошибке другого пользовательского оценщика, поскольку он ожидает массивы numpy (я сослался на github примера, который вы работать с).

Вы можете изменить свой собственный преобразователь для работы с массивами numpy. Я сделал это ниже, и это работает при запуске:

make_pipeline(
    SimpleImputer(),
    StandardScaler(),
    CorrelatedAttributesKeeper()
).fit_transform(X, y)

Я также внес некоторые другие изменения, чтобы сделать его более соответствующим требованиям sklearn оценщиков. Эти изменения включают добавление завершающего подчеркивания для обозначения соответствующих атрибутов; определяющий self.n_features_in_; и не создавать новые переменные внутри __init__ (ограничьтесь только сохранением предоставленных аргументов).

Модифицированный класс:

import pandas as pd
import numpy as np
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.utils import check_array, check_X_y

class CorrelatedAttributesKeeper(BaseEstimator, TransformerMixin):
    def __init__(self, correlation_threshold=0.5):
        self.correlation_threshold = correlation_threshold
        
    def fit(self, X, y=None):
        
        #To np if necessary, and checks
        X, y = check_X_y(X, y)
            
        self.n_features_in_ = X.shape[1]
        self.returned_indices_ = []
        
        correlations = []
        
        for col_idx in range(self.n_features_in_):
            correlations.append(np.corrcoef(X[:, col_idx], y)[0,1])
        
        for idx, x in enumerate(correlations):
            if x > self.correlation_threshold:
                self.returned_indices_.append(idx)
        
        return self
    
    def transform(self, X):
        X = check_array(X)
        return X[:, self.returned_indices_]

Данные и тесты:

#
#Test data
#
np.random.seed(0)
X = pd.DataFrame({
    'f0': np.linspace(0, 1, 100),
    'f1': np.linspace(0, 1, 100) + np.random.uniform(-0.4, .4, size=100),
    'f2': np.random.normal(size=100),
    'f3': np.random.normal(size=100),
})
y = pd.Series(np.linspace(0, 1, 100))

# Estimator should return f0 and f1, but not f2 or f3
display(
    'Correlation values',
    pd.concat([X, y.to_frame()], axis=1).corr().iloc[:-1, -1]
)

#Test separately
#with dataframes
CorrelatedAttributesKeeper().fit_transform(X, y)#.returned_indices_
#with numpy arrays
CorrelatedAttributesKeeper().fit_transform(X.values, y.values)#.returned_indices_

#Test in pipeline
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer

make_pipeline(
    SimpleImputer(),
    StandardScaler(),
    CorrelatedAttributesKeeper()
).fit_transform(X, y)