Каждый
Я пытаюсь создать конвейер, используя файл scikit-learn.
По сути, у меня есть jupyter-ноутбук, который загружает данные с помощью панд, разделяет набор данных для обучения и тестирования модели.
Моя проблема возникает в строке: clf.fit(X_train, y_train)
вы можете увидеть весь код в моем репозитории github jupyter-notebook
ошибка журнала:
----------------------------------------------------------------------
KeyError Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
2656 try:
-> 2657 return self._engine.get_loc(key)
2658 except KeyError:
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()
KeyError: 'survived'
During handling of the above exception, another exception occurred:
KeyError Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/sklearn/utils/__init__.py in _get_column_indices(X, key)
446 for col in columns:
--> 447 col_idx = all_columns.get_loc(col)
448 if not isinstance(col_idx, numbers.Integral):
~/anaconda3/lib/python3.7/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
2658 except KeyError:
-> 2659 return self._engine.get_loc(self._maybe_cast_indexer(key))
2660 indexer = self.get_indexer([key], method=method, tolerance=tolerance)
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()
KeyError: 'survived'
The above exception was the direct cause of the following exception:
ValueError Traceback (most recent call last)
<ipython-input-16-17661ab0f723> in <module>
----> 1 clf.fit(X_train, y_train)
2 print("model score: %.3f" % clf.score(X_test, y_test))
~/anaconda3/lib/python3.7/site-packages/sklearn/pipeline.py in fit(self, X, y, **fit_params)
328 """
329 fit_params_steps = self._check_fit_params(**fit_params)
--> 330 Xt = self._fit(X, y, **fit_params_steps)
331 with _print_elapsed_time('Pipeline',
332 self._log_message(len(self.steps) - 1)):
~/anaconda3/lib/python3.7/site-packages/sklearn/pipeline.py in _fit(self, X, y, **fit_params_steps)
294 message_clsname='Pipeline',
295 message=self._log_message(step_idx),
--> 296 **fit_params_steps[name])
297 # Replace the transformer of the step with the fitted
298 # transformer. This is necessary when loading the transformer
~/anaconda3/lib/python3.7/site-packages/joblib/memory.py in __call__(self, *args, **kwargs)
350
351 def __call__(self, *args, **kwargs):
--> 352 return self.func(*args, **kwargs)
353
354 def call_and_shelve(self, *args, **kwargs):
~/anaconda3/lib/python3.7/site-packages/sklearn/pipeline.py in _fit_transform_one(transformer, X, y, weight, message_clsname, message, **fit_params)
738 with _print_elapsed_time(message_clsname, message):
739 if hasattr(transformer, 'fit_transform'):
--> 740 res = transformer.fit_transform(X, y, **fit_params)
741 else:
742 res = transformer.fit(X, y, **fit_params).transform(X)
~/anaconda3/lib/python3.7/site-packages/sklearn/compose/_column_transformer.py in fit_transform(self, X, y)
527 self._validate_transformers()
528 self._validate_column_callables(X)
--> 529 self._validate_remainder(X)
530
531 result = self._fit_transform(X, y, _fit_transform_one)
~/anaconda3/lib/python3.7/site-packages/sklearn/compose/_column_transformer.py in _validate_remainder(self, X)
325 cols = []
326 for columns in self._columns:
--> 327 cols.extend(_get_column_indices(X, columns))
328
329 remaining_idx = sorted(set(range(self._n_features)) - set(cols))
~/anaconda3/lib/python3.7/site-packages/sklearn/utils/__init__.py in _get_column_indices(X, key)
454 raise ValueError(
455 "A given column is not a column of the dataframe"
--> 456 ) from e
457
458 return column_indices
ValueError: A given column is not a column of the dataframe
Я проверил, существуют ли столбцы до передачи кадра данных разделить в поезде и испытании.
У кого-то есть идеи, как решить эту проблему?
Заранее спасибо! Ваше здоровье
Ошибка возникает из-за того, что вы с самого начала опускаете столбец survived
при определении X
. Вы только проверили его наличие в y_train
.
Просто замените
X= df.drop('survived', axis=1)
к
X= df
и ваш
clf.fit(X_train, y_train)
print("model score: %.3f" % clf.score(X_test, y_test))
возвращается
model score: 1.000
Если вы используете конвейер Kaggle, проблема может быть в препроцессоре:
preprocessor = ColumnTransformer(
transformers=[
('num', numerical_transformer, numerical_cols),
('cat', categorical_transformer, categorical_cols)
])
numerical_cols
и categorical_cols
должны быть списком функций, а не набором данных.
Не используйте свой целевой столбец в X_train, он будет соответствовать вашей модели, даст вам 100% точность, но в производстве будет бесполезен.
Это может произойти, если вы используете sklearn.compose.ColumnTransformer Вам нужно убедиться, что выходной столбец не включен в данные, с которыми вы создаете конвейер предварительной обработки. Поэтому обязательно сначала разделите входные и выходные столбцы.
Привет, я не понимаю... Поскольку эта целевая функция все еще находится в X, это может быть проблемой при обучении модели? Кто-то знает, почему?