Выполните выбор функций с помощью конвейера и поиска по сетке

Это очень приблизительное решение, основанное на вашем описании и конкретное для ответа в зависимости от типа используемых данных. Прежде чем создавать конвейер, давайте разберемся, как CountVectorizer работает с переданными в него raw_documents. По сути, это линия, который преобразует строковые документы в токены,

return lambda doc: self._word_ngrams(tokenize(preprocess(self.decode(doc))), stop_words)

которые затем просто подсчитываются и преобразуются в матрицу подсчета.

Итак, вот что происходит:

1. decode: Просто решите, как читать данные из файла (если он указан). Бесполезно для нас, где у нас уже есть данные в списке.

2. preprocess: выполняет следующие действия, если 'strip_accents' и 'lowercase' являются True в CountVectorizer. Больше ничего

   strip_accents(x.lower())
   

   Опять же, бесполезно, потому что мы переносим функции нижнего регистра в наш собственный препроцессор и не нужно убирать акценты, потому что у нас уже есть данные в списке строк.

3. tokenize: удалит все знаки препинания и сохранит только буквенно-цифровые слова длиной 2 или более, а также вернет список токенов для одного документа (элемент списка)

   lambda doc: token_pattern.findall(doc)
   

   Об этом следует помнить. Если вы хотите самостоятельно обрабатывать знаки препинания и другие символы (решив оставить одни и удалить другие), то лучше также изменить значение token_pattern=’(?u)\b\w\w+\b’ по умолчанию для CountVectorizer.

   4. _word_ngrams: этот метод сначала удалит стоп-слова (предоставленные как параметр выше) из списка токенов из предыдущего шага, а затем вычислит n_grams, как определено параметром ngram_range в CountVectorizer. Это также следует иметь в виду, если вы хотите обращаться с "n_grams" по-своему.

Примечание: Если для анализатора задано значение 'char', то шаг tokenizer выполняться не будет и n_grams будут строиться из символов.

Итак, теперь перейдем к нашему конвейеру. Я думаю, вот такая структура может работать здесь:

X --> combined_pipeline, Pipeline
            |
            |  Raw data is passed to Preprocessor
            |
            /
         Preprocessor 
                 |
                 |  Cleaned data (still raw texts) is passed to FeatureUnion
                 |
                 /
              FeatureUnion
                      |
                      |  Data is duplicated and passed to both parts
       _______________|__________________
      |                                  |
      |                                  |                         
      /                                /
   CountVectorizer                  FeatureExtractor
           |                                  |   
           |   Converts raw to                |   Extracts numerical features
           |   count-matrix                   |   from raw data
           /________________________________/
                             |
                             | FeatureUnion combines both the matrices
                             |
                             /
                          Classifier

Теперь перейдем к коду. Вот как выглядит конвейер:

# Imports
from sklearn.svm import SVC
from sklearn.pipeline import FeatureUnion, Pipeline

# Pipeline
pipe = Pipeline([('preprocessor', CustomPreprocessor()), 
                 ('features', FeatureUnion([("vectorizer", CountVectorizer()),
                                            ("extractor", CustomFeatureExtractor())
                                            ]))
                 ('classifier', SVC())
                ])

Где CustomPreprocessor и CustomFeatureExtractor определены как:

from sklearn.base import TransformerMixin, BaseEstimator

class CustomPreprocessor(BaseEstimator, TransformerMixin):
    def __init__(self, remove_urls=True, remove_mentions=True, 
                 remove_emails=True, remove_invalid_chars=True, 
                 convert_emojis=True, lowercase=True, 
                 decompose_hashtags=True, remove_punctuations=True):
        self.remove_urls=remove_urls
        self.remove_mentions=remove_mentions
        self.remove_emails=remove_emails
        self.remove_invalid_chars=remove_invalid_chars
        self.convert_emojis=convert_emojis
        self.lowercase=lowercase
        self.decompose_hashtags=decompose_hashtags
        self.remove_punctuations=remove_punctuations

    # You Need to have all the functions ready
    # This method works on single tweets
    def preprocessor(self, tweet):
        # Data cleaning
        if self.remove_urls:
            tweet = URL_remover(tweet) # Removing URLs

        if self.remove_mentions:
            tweet = mentions_remover(tweet) # Removing mentions

        if self.remove_emails:
            tweet = email_remover(tweet) # Removing emails

        if self.remove_invalid_chars:
            tweet = irrelev_chars_remover(tweet) # Removing invalid chars

        if self.convert_emojis:
            tweet = emojies_converter(tweet) # Translating emojies

        if self.lowercase:
            tweet = to_lowercase(tweet) # Converting words to lowercase

        if self.decompose_hashtags:
            # Others
            tweet = hashtag_decomposer(tweet) # Hashtag decomposition

        # Punctuation may only be removed after hashtag decomposition  
        # because it considers "#" as punctuation
        if self.remove_punctuations:
            tweet = punct_remover(tweet) # Punctuation 

        return tweet

    def fit(self, raw_docs, y=None):
        # Noop - We dont learn anything about the data
        return self

    def transform(self, raw_docs):
        return [self.preprocessor(tweet) for tweet in raw_docs]

from textblob import TextBlob
import numpy as np
# Same thing for feature extraction
class CustomFeatureExtractor(BaseEstimator, TransformerMixin):
    def __init__(self, sentiment_analysis=True, tweet_length=True):
        self.sentiment_analysis=sentiment_analysis
        self.tweet_length=tweet_length

    # This method works on single tweets
    def extractor(self, tweet):
        features = []

        if self.sentiment_analysis:
            blob = TextBlob(tweet)
            features.append(blob.sentiment.polarity)

        if self.tweet_length:
            features.append(len(tweet))

        # Do for other features you want.

        return np.array(features)

    def fit(self, raw_docs, y):
        # Noop - Again I am assuming that We dont learn anything about the data
        # Definitely not for tweet length, and also not for sentiment analysis
        # Or any other thing you might have here.
        return self

    def transform(self, raw_docs):
        # I am returning a numpy array so that the FeatureUnion can handle that correctly
        return np.vstack(tuple([self.extractor(tweet) for tweet in raw_docs]))

Наконец, сетку параметров теперь можно легко сделать, например:

param_grid = ['preprocessor__remove_urls':[True, False],
              'preprocessor__remove_mentions':[True, False],
              ...
              ...
              # No need to search for lowercase or preprocessor in CountVectorizer 
              'features__vectorizer__max_df':[0.1, 0.2, 0.3],
              ...
              ...
              'features__extractor__sentiment_analysis':[True, False],
              'features__extractor__tweet_length':[True, False],
              ...
              ...
              'classifier__C':[0.01, 0.1, 1.0]
            ]

Приведенный выше код предназначен для исключения "to create a different function for each possibility (e.g. funcA: proc1, funcB: proc1 + proc2, funcC: proc1 + proc3, etc.)". Просто сделайте True, False и GridSearchCV справится с этим.

Обновлять: Если вы не хотите иметь CountVectorizer, вы можете удалить его из конвейера и сетки параметров, и новый конвейер будет:

pipe = Pipeline([('preprocessor', CustomPreprocessor()), 
                 ("extractor", CustomFeatureExtractor()),
                 ('classifier', SVC())
                ])

Затем убедитесь, что в CustomFeatureExtractor реализованы все необходимые функции. Если это станет слишком сложным, вы всегда можете сделать более простые экстракторы и объединить их вместе в FeatureUnion вместо CountVectorizer.