1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Завершення декодера трансформера

Час зібрати «тіло» декодера трансформера! Для цього потрібно поєднати класи InputEmbeddings, PositionalEncoding і DecoderLayer, які ви створили раніше.

Інструкції

100 XP
  • Створіть список із num_layers шарів декодера за допомогою генератора списку та класу DecoderLayer.
  • Визначте лінійний шар, який проєктуватиме приховані стани у ймовірності слів.
  • Завершіть прямий прохід через шари, визначені в __init__.
  • Створіть екземпляр декодера трансформера та застосуйте його до input_tokens і tgt_mask.