Проблемы с матрицей точности, отзыва и путаницы в sklearn

Я обучил модель в keras и сделал несколько прогнозов. Чтобы оценить производительность моей модели, я рассчитал показатели точности и полноты, а также матрицу путаницы с помощью библиотеки sklearn. Это мой код:

final_predictions = model.predict_generator(generator_test, steps=steps_per_epoch_test)
rounded_pred = [0 if x<=0.5 else 1 for x in final_predictions]
test_precision_score = round(precision_score(y_test, rounded_pred), 3)
test_recall_score = round(recall_score(y_test, rounded_pred), 3)
test_confusion_matrix = confusion_matrix(y_test, rounded_pred)

Это мои результаты:

Test confusion matrix :

 [[1555   13]

 [   9   49]]

Precision and recall:

Test Precision :: 0.845
Test Recall :: 0.79

Кто-нибудь знает, почему оценка точности рассчитывается неправильно? (Должно быть (1555/(1555+13) вместо (13/(13+49)))

Вы пробовали переключать аргументы confusion_matrix(). Мне кажется, что точность и полнота рассчитываются с 49, рассматриваемыми как истинно положительные, а не как истинно отрицательные.

— 22.05.2019 12:01

scikit-learn neural-network artificial-intelligence metrics

22.05.2019 11:42

Стоит ли изучать PHP в 2026-2027 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

1 067

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

По умолчанию pos_label из precision_score и recall_score равны 1.

from sklearn.metrics import confusion_matrix,precision_score,recall_score,classification_report

y_true = [0]*1568 + [1]*58
y_pred = [0]*1555 + [1]*13 + [0]* 9+ [1]* 49

print('confusion matrix :\n',confusion_matrix(y_true,y_pred))
print('precision_score :\n',precision_score(y_true,y_pred,pos_label=1))
print('recall_score :\n',recall_score(y_true,y_pred,pos_label=1))
print('classification_report :\n',classification_report(y_true,y_pred))

confusion matrix :
 [[1555   13]
 [   9   49]]
precision_score :
 0.7903225806451613
recall_score :
 0.8448275862068966
classification_report :
               precision    recall  f1-score   support

           0       0.99      0.99      0.99      1568
           1       0.79      0.84      0.82        58

   micro avg       0.99      0.99      0.99      1626
   macro avg       0.89      0.92      0.90      1626
weighted avg       0.99      0.99      0.99      1626

Если вы хотите получить precision_score и recall_score из label=1. Вы можете установить pos_label=0, чтобы установить класс.

print('precision_score :\n',precision_score(y_true,y_pred,pos_label=0))
print('recall_score :\n',recall_score(y_true,y_pred,pos_label=0))

precision_score :
 0.9942455242966752
recall_score :
 0.9917091836734694

Спасибо за ваш ответ, но при установке python label=0 я получаю неверные результаты для оценки отзыва. Я получаю 0,991, а должно быть 0,844.

— 22.05.2019 15:01

@Negreanu 0.8448 — это показатель отзыва для label=1. Вы можете увидеть classification_report в ответе.

— 22.05.2019 15:05

О, да! Спасибо!

— 22.05.2019 15:30

Разве это не «Если вы хотите получить точность_оценки и отзыв_оценки для метки = 0. Вы можете установить pos_Label = 0, чтобы установить класс»? вместо метки=1? Я запутался. Однако фрагменты кода точны.

— 19.02.2022 15:01

22.05.2019 14:19