Потеря журнала Sklearn Python для оценки логистической регрессии вызвала ошибку

Я обучил модель с помощью логистической регрессии, и мне нужно оценить ее точность с помощью Log Loss. Вот некоторые подробности о данных:

Особенности / X

   Principal terms age Gender weekend Bachelor  HighSchoolerBelow college
0   1000     30    45   0       0       0               1              0
1   1000     30    33   1       0       1               0              0
2   1000     15    27   0       0       0               0              1

Этикетки / Y

array(['PAIDOFF', 'PAIDOFF', 'PAIDOFF', 'PAIDOFF', 'COLLECTION'], dtype=object)

Модель логистической регрессии:

from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression(C=1e5, solver='lbfgs', multi_class='multinomial')
Feature = df[['Principal','terms','age','Gender','weekend']]
Feature = pd.concat([Feature,pd.get_dummies(df['education'])], axis=1)
Feature.drop(['Master or Above'], axis = 1,inplace=True)

X = Feature

X= preprocessing.StandardScaler().fit(X).transform(X)

y = df['loan_status'].values

X_train, X_test, y_train, lg_y_test = train_test_split(X, y, test_size=0.3, random_state=4)


# we create an instance of Neighbours Classifier and fit the data.
logreg.fit(X_train, y_train)

lg_loan_status = logreg.predict(X_test)
lg_loan_status

Теперь мне нужно рассчитать для этого Jaccard, F1-score and LogLoss.

Вот мой отдельный набор данных для тестирования:

test_df['due_date'] = pd.to_datetime(test_df['due_date'])
test_df['effective_date'] = pd.to_datetime(test_df['effective_date'])
test_df['dayofweek'] = test_df['effective_date'].dt.dayofweek
test_df['weekend'] = test_df['dayofweek'].apply(lambda x: 1 if (x>3)  else 0)
test_df.groupby(['Gender'])['loan_status'].value_counts(normalize=True)
# test_df['Gender'].replace(to_replace=['male','female'], value=[0,1],inplace=True)
Feature = test_df[['Principal','terms','age','Gender','weekend']]
Feature = pd.concat([Feature,pd.get_dummies(df['education'])], axis=1)
Feature.drop(['Master or Above'], axis = 1,inplace=True)
Feature.head()

X = Feature
Y = test_df['loan_status'].values

Feature.head()
    Principal terms age Gender weekend Bechalor HighSchoolorBelow  college
0   1000.0    30.0  50.0 female  0.0    0               1            0
1   300.0      7.0  35.0  male   1.0    1               0            0
2   1000.0    30.0  43.0 female  1.0    0               0            1

Вот что я пробовал:

# Evaluation for Logistic Regression
X_train, X_test, y_train, lg_y_test = train_test_split(X, y, test_size=0.3, random_state=3)

lg_jaccard = jaccard_similarity_score(lg_y_test, lg_loan_status, normalize=False)
lg_f1_score = f1_score(lg_y_test, lg_loan_status, average='micro')


lg_log_loss = log_loss(lg_y_test, lg_loan_status)

print('Jaccard is : {}'.format(lg_jaccard))
print('F1-score is : {}'.format(lg_f1_score))
print('Log Loss is : {}'.format(lg_log_loss))

Но он возвращает эту ошибку:

ValueError: could not convert string to float: 'COLLECTION'

Обновлять: Вот lg_y_test:

['PAIDOFF' 'PAIDOFF' 'COLLECTION' 'COLLECTION' 'PAIDOFF' 'COLLECTION'
'PAIDOFF' 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF'
 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'COLLECTION'
 'PAIDOFF' 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF'
 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'COLLECTION' 'PAIDOFF'
 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'COLLECTION' 'PAIDOFF' 'COLLECTION'
 'COLLECTION' 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'COLLECTION' 'PAIDOFF'
 'PAIDOFF' 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'COLLECTION' 'COLLECTION'
 'PAIDOFF' 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'COLLECTION' 'COLLECTION'
 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF'
 'COLLECTION' 'COLLECTION' 'PAIDOFF' 'COLLECTION' 'PAIDOFF' 'PAIDOFF'
 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF'
 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF'
 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF'
 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'COLLECTION'
 'COLLECTION' 'PAIDOFF' 'PAIDOFF' 'PAIDOFF' 'COLLECTION' 'PAIDOFF'
 'PAIDOFF' 'PAIDOFF' 'COLLECTION']
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
3
0
3 281
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Проблема в следующем:

Чтобы вычислить log_loss, вам необходимо иметь вероятности ваших прогнозов. Если вы предоставляете только предсказанные классы (классы с максимальной вероятностью) этот показатель не может быть вычислен.

Sklearn предоставляет метод pred_proba, когда это возможно. Вы должны использовать его следующим образом:

lg_loan_status_probas = logreg.predict_proba(X_test)
lg_log_loss = log_loss(lg_y_test, lg_loan_status_probas)

Привет @GabrielM, теперь он возвращает еще одну ошибку как ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Abdul Rehman 25.10.2018 08:14

вы можете напечатать lg_loan_status_probas и lg_y_test?

Gabriel M 25.10.2018 08:17

ошибка приходит на lg_loan_status_probas, ее нельзя распечатать.

Abdul Rehman 25.10.2018 08:19

Я добавил результат printlg_y_test в вопрос выше, посмотрите, пожалуйста!

Abdul Rehman 25.10.2018 08:22

Понятно. Не могли бы вы распечатать lg_loan_status? Благодарность !

Gabriel M 25.10.2018 08:32

Чтобы вычислить потерю журнала или потерю кросс-энтропии для логистической регрессии, выполните следующие действия (автономный пример):

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn import metrics

X, y = load_iris(return_X_y=True)
clf = LogisticRegression(random_state=0).fit(X, y)
clf.predict(X[:2, :])

clf.predict_proba(X[:2, :])


clf.score(X, y)

y_probs = cls.predict_proba(X)
qry_loss_t = metrics.log_loss(y, y_probs)

использованная литература:

Другие вопросы по теме