Применение перекрестной проверки в наивном байесовском методе

Мой набор данных - спам и ветчина на филиппинском сообщении enter image description here

Я разделил свой набор данных на 60% обучения, 20% тестирования и 20% проверки.

Разделите данные на тестирование, обучение и проверку

from sklearn.model_selection import train_test_split


data['label'] = (data['label'].replace({'ham'  : 0,
                                         'spam' : 1}))
X_train, X_test, y_train, y_test = train_test_split(data['message'], 
                                                        data['label'], test_size=0.2, random_state=1)
    
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=1) # 0.25 x 0.8 = 0.2 
print('Total: {} rows'.format(data.shape[0]))
print('Train: {} rows'.format(X_train.shape[0]))
print(' Test: {} rows'.format(X_test.shape[0]))
print(' Validation: {} rows'.format(X_val.shape[0]))

Обучите MultinomialNB от sklearn

from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score
import numpy as np
naive_bayes = MultinomialNB().fit(train_data,
                                  y_train)
predictions = naive_bayes.predict(test_data)

Оцените модель

from sklearn.metrics import (accuracy_score, 
                             precision_score,
                             recall_score, 
                             f1_score)
accuracy_score = accuracy_score(y_test,
                                predictions)
precision_score = precision_score(y_test,
                                  predictions)
recall_score = recall_score(y_test,
                            predictions)
f1_score = f1_score(y_test,
                    predictions)

Моя проблема в валидации. Ошибка говорит

warnings.warn("Estimator fit failed. The score on this train-test"

вот как я кодирую свою проверку, не знаю, правильно ли я поступаю"

 from sklearn.model_selection import cross_val_score
    
    mnb = MultinomialNB()
    scores = cross_val_score(mnb,X_val,y_val, cv = 10, scoring='accuracy')
    
    print('Cross-validation scores:{}'.format(scores))

Можете ли вы показать пример того, как выглядят data['message'] и data['label']?

user2246849 17.05.2022 13:26

мой набор данных? @user2246849

code 17.05.2022 13:33

Да, просто чтобы иметь представление о том, что вы вводите в модель.

user2246849 17.05.2022 13:35

Я отредактировал свой пост, чтобы добавить, как выглядит мой набор данных.

code 17.05.2022 13:41

Это не ошибка, а предупреждение, просто предупреждающее вас о том, что модель не соответствует по крайней мере некоторым из складок CV (вы не показываете полное сообщение - пожалуйста, отредактируйте соответствующим образом).

desertnaut 17.05.2022 13:47

тогда что делать? @пустынный? Вы можете предложить?

code 17.05.2022 13:52
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
1
6
37
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Во-первых, стоит отметить, что то, что это называется перекрестной проверкой, не означает, что вы должны использовать набор проверки, как вы сделали в своем коде, для выполнения перекрестной проверки. Существует ряд причин, по которым вам следует выполнять перекрестную проверку, в том числе:

  • Обеспечение того, чтобы весь ваш набор данных использовался при обучении, а также оценка производительности вашей модели.
  • Для выполнения настройки гиперпараметров.

Следовательно, ваш случай здесь склоняется к первому варианту использования. Таким образом, вам не нужно сначала выполнять сплит train, val, and test. Вместо этого вы можете выполнить 10-кратную перекрестную проверку всего набора данных.

Если вы выполняете гипараметризацию, вы можете иметь набор задержек, скажем, 30%, а оставшиеся 70% использовать для перекрестной проверки. Как только лучшие параметры будут определены, вы можете использовать отложенный набор для оценки модели с лучшими параметрами.

Некоторые ссылки:

https://towardsdatascience.com/5-reasons-why-you-should-use-cross-validation-in-your-data-science-project-8163311a1e79

https://www.analyticsvidhya.com/blog/2021/11/top-7-cross-validation-techniques-with-python-code/

https://towardsdatascience.com/train-test-split-and-cross-validation-in-python-80b61beca4b6

Ответ принят как подходящий

Я не получил ни ошибки, ни предупреждения. Может быть, это может быть обработано.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score
import numpy as np
from sklearn.metrics import (accuracy_score, 
                             precision_score,
                             recall_score, 
                             f1_score)
from sklearn.model_selection import cross_val_score
from sklearn.feature_extraction.text import CountVectorizer

df = pd.read_csv("https://raw.githubusercontent.com/jeffprosise/Machine-Learning/master/Data/ham-spam.csv")

vectorizer = CountVectorizer(ngram_range=(1, 2), stop_words='english')
x = vectorizer.fit_transform(df['Text'])
y = df['IsSpam']

X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=1)    
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=1) # 0.25 x 0.8 = 0.2 

print('Total: {} rows'.format(data.shape[0]))
print('Train: {} rows'.format(X_train.shape[0]))
print(' Test: {} rows'.format(X_test.shape[0]))
print(' Validation: {} rows'.format(X_val.shape[0]))

naive_bayes = MultinomialNB().fit(X_train, y_train)
predictions = naive_bayes.predict(X_test)

accuracy_score = accuracy_score(y_test,predictions)
precision_score = precision_score(y_test, predictions)
recall_score = recall_score(y_test, predictions)
f1_score = f1_score(y_test, predictions)

mnb = MultinomialNB()
scores = cross_val_score(mnb,X_val,y_val, cv = 10, scoring='accuracy')
print('Cross-validation scores:{}'.format(scores))

Результат:

Total: 1000 rows
Train: 600 rows
 Test: 200 rows
 Validation: 200 rows
Cross-validation scores:[1.   0.95 0.85 1.   1.   0.9  0.9  0.8  0.9  0.9 ]

Другие вопросы по теме