1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Додавання перехресної уваги до шару декодера

Щоб об'єднати стек енкодера і стек декодера, які ви визначили раніше, в трансформер типу «енкодер–декодер», потрібно створити механізм перехресної уваги, який слугуватиме містком між ними.

Клас MultiHeadAttention, визначений раніше, і далі доступний.

Інструкції

100 XP
  • Оголосіть механізм перехресної уваги (за допомогою MultiHeadAttention) і третю нормалізацію шару (за допомогою nn.LayerNorm) у методі __init__.
  • Завершіть прямий прохід, щоб додати перехресну увагу до шару декодера.