Предварительная обработка (центрирование и масштабирование) только определенных переменных (числовых переменных)
У меня есть фрейм данных, состоящий из числовых и нечисловых переменных. Я пытаюсь подобрать модель логической регрессии, предсказывающую мою переменную «риск» на основе всех других переменных, оптимизируя AUC с использованием 6-кратной перекрестной проверки.
Однако я хочу центрировать и масштабировать все числовые независимые переменные. Мой код не выдает ошибок или предупреждений, но почему-то я не могу понять, как указать от train() до preProcess (или каким-то другим способом), чтобы просто центрировать и масштабировать мои числовые переменные.
Вот код:
test <- train(risk ~ .,
method = "glm",
data = df,
family = binomial(link = "logit"),
preProcess = c("center", "scale"),
trControl = trainControl(method = "cv",
number = 6,
classProbs = TRUE,
summaryFunction = prSummary),
metric = "AUC")
Ответы 1
Вы можете сначала попытаться предварительно обработать все числовые переменные в исходном df, а затем применить функцию train к масштабированному df.
library(dplyr)
library(caret)
df <- df %>%
dplyr::mutate_if (is.numeric, scale)
test <- train(risk ~ .,
method = "glm",
data = df,
family = binomial(link = "logit"),
trControl = trainControl(method = "cv",
number = 6,
classProbs = TRUE,
summaryFunction = prSummary),
metric = "AUC")
@jxpython, да, функция масштабирования центрирует числовые столбцы, чтобы иметь среднее значение ноль и дисперсию единицу в качестве стандартизированного нормального распределения
можете ли вы объяснить, почему mutate_if (is.numeric, ~ scale) не работает, а mutate_if (is.numeric, scale) работает? Обратите внимание на ~ в функции.
Это вызовет утечку данных и, следовательно, оптимистическую предвзятость во время повторной выборки, поскольку вы используете информацию из повторных выборок вне сгиба. Правильным способом было бы применить все этапы предварительной обработки во время повторной выборки, используя только информационные данные, соответствующие наборам поездов. Чтобы масштабировать только некоторые числовые переменные во время повторной выборки, лучшими вариантами являются recipes или mlr3. preProcess внутри поезда правильно выполняет предварительную обработку, используя только данные соответствующих наборов поездов, но я думаю, что вы не можете указать только определенные переменные.
Но если вы хотите предварительно обработать все числовые переменные с помощью c("center", "scale"), вы можете использовать preProcess внутри поезда, поскольку он будет делать именно это. Это не коснется категориальных переменных. См. ?preProcess: нечисловые данные не будут предварительно обрабатываться, и их значения будут находиться во фрейме данных, созданном функцией прогнозирования. Это относится и к звонкам preProcess в поезде.
Делает ли масштаб то же самое, что и предварительный процесс? Кроме того, я предполагаю, что в этом случае можно исключить preProcess?