Как нормализовать данные с помощью слоя Lambda?

У меня есть список x как

x = list(np.arange(10))

min = np.min(x)

max = np.max(x)

и я могу создать оконный набор данных, используя следующий метод:

def get_windowed_data(series,window_size):

  dt = tf.data.Dataset.from_tensor_slices(series)
  dt = dt.window(window_size, shift = 1,drop_remainder = True)
  dt = dt.flat_map(lambda window: window.batch(window_size)) # make each window a batch
  dt = dt.map(lambda window: (window[:-1],window[-1:])) # consider the last element as label and the rest as window
  return dt

который дает мне результат вывода. Итак, каждая строка содержит кортеж, первый элемент которого представляет собой список с несколькими элементами, а второй элемент представляет собой список с одним элементом.

[0 1 2 3]   [4]
[1 2 3 4]   [5]
[2 3 4 5]   [6]
[3 4 5 6]   [7]
[4 5 6 7]   [8]
[5 6 7 8]   [9]

Теперь я хочу нормализовать (между 0 и 1) только данные в первом элементе и сохранить метки, как и раньше, и попробовал следующий код:

def get_windowed_data(series,window_size,min,max):

  dt = tf.data.Dataset.from_tensor_slices(series)
  dt = dt.window(window_size, shift = 1,drop_remainder = True)
  #dt = dt.flat_map(lambda window: window.batch(window_size)) # make each window a batch
  dt = dt.flat_map(lambda window: ([ (x-min)/max for x in window[:-1].numpy()],window[-1:])) 
  return dt
  

Так, например, вывод первых двух строк должен быть:

[0.0, 0.1111111111111111, 0.2222222222222222, 0.3333333333333333] [4]
[0.1111111111111111, 0.2222222222222222, 0.3333333333333333, 0.4444444444444444]      [5]

Однако, используя мой код, он жалуется:

   lambda window: ([ (x-min)/max for x in window[:-1].numpy()],window[-1:]))

    TypeError: '_VariantDataset' object is not subscriptable
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
0
0
36
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

После разделения на два элемента вы можете использовать другую функцию map:

ds = ds.map(lambda wx, wy: ((wx - min) / max, wy))

wx это окно, wy здесь цель. Таким образом, полный пример выглядит следующим образом:

import tensorflow as tf
import numpy as np

x = list(np.arange(10))

min = np.min(x)
max = np.max(x)


def get_windowed_data(series, window_size, min_value, max_value):
    ds = tf.data.Dataset.from_tensor_slices(series)
    ds = ds.window(window_size, shift=1, drop_remainder=True)
    ds = ds.flat_map(lambda w: w.batch(window_size))
    ds = ds.map(lambda w: (w[:-1], w[-1:]))
    ds = ds.map(lambda wx, wy: ((wx - min_value) / max_value, wy))
    return ds


data_normalized = get_windowed_data(x, 5, min, max)

for x, y in data_normalized:
    print(x.numpy(), y.numpy())

Это напечатает:

[0.         0.11111111 0.22222222 0.33333333] [4]
[0.11111111 0.22222222 0.33333333 0.44444444] [5]
[0.22222222 0.33333333 0.44444444 0.55555556] [6]
[0.33333333 0.44444444 0.55555556 0.66666667] [7]
[0.44444444 0.55555556 0.66666667 0.77777778] [8]
[0.55555556 0.66666667 0.77777778 0.88888889] [9]

Другие вопросы по теме