Слияние тензора 3x10 с 1x10, какие методы использовать?
Я сделал некоторую модель, которая в итоге выведет тензор 3 x 10. Причина, по которой это 3 x 10, заключается в том, что размер словаря равен 10, а в последовательности 3 элемента (это проблема классификации последовательности с несколькими метками) . Этот тензор нужно будет как-то софтмаксировать до тензора 1x10. Может ли кто-нибудь объяснить мне доступные методы и, возможно, какой-нибудь пример в Керасе?
Я видел некоторые методы слияния в Keras, такие как усреднение или добавление. Они могут быть полезны в этом случае, но для них, похоже, требуются два или более тензора в качестве входных данных. Поэтому мне, вероятно, нужно разделить тензор 3 x 10 на 3 тензора 1 x 10 каждый и усреднить их. Может быть, есть лучшие способы добиться этого?
Ответы 1
Простой способ добиться того, чего вы хотите, — использовать последний слой свертки 1x1.
Слой с ядром свертки 1 × 1 позволяет объединить ваш тензор 3x10 в 1x10 и
одновременно изучает вес сплава во время тренировки.
Добавьте этот слой:
output = Conv2D(1, (1, 1), activation='your_activation')(your_3x10_tensor)
Надеюсь, это решение, которое вы искали!
Динамический полезен, когда каждый из тензоров, которые вы объединяете, может по-разному влиять на результаты, но если все эти тензоры всегда имеют одинаковое влияние, вы можете сделать это статически.
Есть ли какое-либо преимущество в использовании «динамического» слияния с таким весом по сравнению со «статическим» слиянием, например, простое добавление/усреднение тензора по элементам?