Использование CountVectorizer с Pipeline и ColumnTransformer и получение AttributeError: объект 'numpy.ndarray' не имеет атрибута 'ниже'

Я думаю, вам действительно стоит еще раз оглянуться на свои основы. Ваш вопрос говорит мне о том, что вы недостаточно хорошо понимаете функцию, чтобы реализовать ее эффективно. Спросите еще раз, когда вы проведете достаточно исследований самостоятельно, чтобы не смущаться.

В CountVectorizer передайте lower_case=False.

Имо, первое, что нужно сделать, это то, что CountVectorizer() требует ввода 1D; ваш пример не работает, потому что вменение возвращает массив 2D numpy, что означает, что вам нужно добавить индивидуальную обработку, чтобы заставить его работать.

Затем вы также должны учитывать, что при использовании экземпляра CountVectorizer() (который, опять же, требует ввода 1D) в качестве преобразователя в ColumnTransformer(), вы должны передать колонны трансформаторов:

columns: str, array-like of str, int, array-like of int, array-like of bool, slice or callable

Indexes the data on its second axis. Integers are interpreted as positional columns, while strings can reference DataFrame columns by name. A scalar string or int should be used where transformer expects X to be a 1d array-like (vector), otherwise a 2d array will be passed to the transformer. [...]

Это было бы полезно при интерпретации фрагмента, который я опубликую как возможное решение.

import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder, FunctionTransformer
from sklearn.compose import ColumnTransformer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.pipeline import Pipeline
from typing import Callable
from sklearn.base import BaseEstimator, TransformerMixin

# Dataset
df = pd.DataFrame([['a', 'Hi Tom', 'It is hot', 1],
                ['b', 'How you been Tom', 'hot coffee', 2],
                ['c', 'Hi you', 'I want some coffee', 3]],
               columns=['col_for_ohe', 'col_for_countvectorizer_1', 'col_for_countvectorizer_2', 'num_col'])

class DimTransformer(BaseEstimator, TransformerMixin):
    def __init__(self):
        pass
    def fit(self, *_):
        return self
    def transform(self, X, *_):
        return pd.DataFrame(X)

# Use FunctionTransformer to ensure dense matrix
def tf_text(X, vectorizer_tf: Callable):
    X_vect_ = vectorizer_tf.fit_transform(X)
    return X_vect_.toarray()

tf_transformer = FunctionTransformer(tf_text, kw_args={'vectorizer_tf': CountVectorizer()})

# Transformation Pipelines
tf_transformer_pipe = Pipeline(
    steps = [('imputer', SimpleImputer(strategy='constant', fill_value='missing')), 
             ('dt', DimTransformer()),
             ('ct', ColumnTransformer([
                 ('tf1', tf_transformer, 0), 
                 ('tf2', tf_transformer, 1)
             ]))    
])

ohe_transformer_pipe = Pipeline(
    steps = [('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
             ('ohe', OneHotEncoder(handle_unknown='ignore', sparse=False))])

transformer = ColumnTransformer(transformers=[
    ('cat_ohe', ohe_transformer_pipe, ['col_for_ohe']),
    ('cat_tf', tf_transformer_pipe, ['col_for_countvectorizer_1', 'col_for_countvectorizer_2'])
], remainder='passthrough')

transformed_df = transformer.fit_transform(df)

А именно, я добавляю преобразователь, который просто преобразует массив, возвращаемый экземпляром SimpleImputer, в DataFrame. Затем - и самое главное - поскольку кажется невозможным применить векторизацию к 2D-входу, полученному в результате двух предыдущих шагов ('imputer' и 'dt'), я добавляю еще один ColumnTransformer, который разделяет векторизацию на два параллельных шага (векторизация на столбец). Обратите внимание, что в этот момент ссылки на столбцы позиционируются, поскольку имена столбцов, возможно, изменились. Конечно, это индивидуальное решение, но, по крайней мере, может дать некоторые подсказки.

Учитывая, что на самом деле у вас нет пропущенных значений, вы можете увидеть, что это действительно работает, сравнив его с выводом:

dt = DimTransformer().fit_transform(df)
ct = ColumnTransformer([
    ('tf1', tf_transformer, 1), 
    ('tf2', tf_transformer, 2)
])
ct.fit_transform(dt)

print(ct.named_transformers_['tf1'].kw_args['vectorizer_tf'].vocabulary_) print(ct.named_transformers_['tf2'].kw_args['vectorizer_tf'].vocabulary_)

и заметив, что столбцы с четвертого до предпоследнего предыдущего вывода (а именно те, на которые повлияло применение 'cat_tf') совпадают с столбцами чуть ниже.

Вот пара постов, посвященных использованию CountVectorizer в экземпляре ColumnTransformer, хотя они не рассматривали предварительную подстановку набора данных.

• Пользовательские преобразователи Sklearn с конвейером: все размеры входного массива для оси конкатенации должны точно совпадать
• Векторизуйте только текстовый столбец и стандартизируйте числовой столбец с помощью конвейера