Как выполнить стандартизацию данных временных рядов с помощью Scikit-learn Standard Scaler?

Я использую Керас, поэтому форма данных (batch_size, timesteps, input_dim). А Стандартный скалер просто соответствует 2D-данным.

Одно из решений, которое я подумал, заключалось в использовании частичной подгонки с последующим преобразованием.

scaler = StandardScaler()
for sample in range(data.shape[0]):
    scaler.partial_fit(data[sample])

for sample in range(data.shape[0]):
    data[sample] = scaler.transform(data[sample])

Это правильный / эффективный подход?

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
0
1 022
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

У вас есть две возможности

data = np.random.randn(batch_size*time_length*nb_feats).reshape((bsize,time,feats))

Версия 1 делает то, что вы говорите:

scaler = StandardScaler()
for sample in range(data.shape[0]):
    scaler.partial_fit(data[sample])

for sample in range(data.shape[0]):
    data[sample] = scaler.transform(data[sample])

Другая возможность (версия 2) - сгладить массив, подогнать и преобразовать, а затем изменить его форму.

scaler = StandardScaler()
data   = scaler.fit_transform(data.reshape((bsize*time,feats))).reshape((bsize,time,feats))

В моем компьютере

Версия 1 занимает 0,8759770393371582 секунды

Версия 2 занимает 0,11733722686767578 секунд

Следует ли выбирать версию 1, когда объем данных слишком велик?

Renan Cunha 31.10.2018 17:08

да, вы можете использовать partial_fit, если данные слишком велики. Однако вам не нужно перебирать образцы один за другим. На это уходит слишком много времени. Может быть, вы сможете сделать частичную подгонку партий

Gabriel M 31.10.2018 17:10

Другие вопросы по теме