1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Шар декодера

Як і трансформери-енкодери, трансформери-декодери також складаються з кількох шарів, що використовують багатоголову увагу та feed-forward підшари. Спробуйте поєднати ці компоненти, щоб побудувати клас DecoderLayer.

Класи MultiHeadAttention і FeedForwardSubLayer доступні для використання, так само як і tgt_mask, яку ви створили.

Інструкції

100 XP

Завершіть метод forward(), щоб пропустити вхідні вкладення (embeddings) через шари, визначені в __init__:

  • Виконайте обчислення уваги, використовуючи надану tgt_mask і вхідні вкладення x як матриці запитів, ключів і значень.
  • Застосуйте dropout і першу нормалізацію шару, norm1.
  • Виконайте проходження через feed-forward підшар, ff_sublayer.
  • Застосуйте dropout і другу нормалізацію шару, norm2.