Встраиваемый слой Keras вызывает проблемы с размерностью
В настоящее время я пытаюсь включить слой встраивания в свой автокодировщик от последовательности к последовательности, построенный с помощью функционального API keras.
Код модели выглядит так:
#Encoder inputs
encoder_inputs = Input(shape=(None,))
#Embedding
embedding_layer = Embedding(input_dim=n_tokens, output_dim=2)
encoder_embedded = embedding_layer(encoder_inputs)
#Encoder LSTM
encoder_outputs, state_h, state_c = LSTM(n_hidden, return_state=True)(encoder_embedded)
lstm_states = [state_h, state_c]
#Decoder Inputs
decoder_inputs = Input(shape=(None,))
#Embedding
decoder_embedded = embedding_layer(decoder_inputs)
#Decoder LSTM
decoder_lstm = LSTM(n_hidden, return_sequences=True, return_state=True, )
decoder_outputs, _, _ = decoder_lstm(decoder_embedded, initial_state=lstm_states)
#Dense + Time
decoder_dense = TimeDistributed(Dense(n_tokens, activation='softmax'), input_shape=(None, None, 256))
#decoder_dense = Dense(n_tokens, activation='softmax', )
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
Модель обучается так:
model.fit([X, y], X, epochs=n_epoch, batch_size=n_batch)
с X и y, имеющими форму (n_samples, n_seq_len)
Составление модели проходит безупречно, а при тренировках всегда получаю:
ValueError: Error when checking target: expected time_distributed_1 to have 3 dimensions, but got array with shape (n_samples, n_seq_len)
Есть у кого-нибудь идеи?
Версия Кераса - 2.2.4
.
Бэкэнд Tensorflow версии 1.12.0
Ответы 1
В таком автокодировщике, поскольку последний слой является классификатором softmax, вам нужно сразу закодировать метки:
from keras.utils import to_categorical
one_hot_X = to_categorical(X)
model.fit([X, y], one_hot_X, ...)
В качестве примечания, поскольку Плотный слой нанесен на последнюю ось, нет необходимости оборачивать слой Dense в слой TimeDistributed.
@BorisMirheiss Если ваша проблема заключается в том, что вы не хотите заранее кодировать все метки одним горячим способом (из-за ограничений ОЗУ), вы можете написать генератор, который генерирует горячие закодированные метки на лету.
Привет сегодня, спасибо за ваш ответ, я понимаю вашу точку зрения о необходимости однократного кодирования. Проблема в том, что у меня много разных ярлыков, и я стараюсь по возможности избегать однократного кодирования. Теперь вы знаете, как я могу изменить макет модели так, чтобы предсказывался меньший (встраиваемый?) Вектор?