1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Шар encoder-трансформера

Маючи визначений клас FeedForwardSubLayer, ви маєте всі складники, щоб оголосити клас EncoderLayer. Нагадаємо, що шар encoder зазвичай складається з механізму багатоголової уваги та підшару прямого поширення з нормалізацією шару і dropоut на входах і виходах підшару.

Класи, які ви вже оголосили, доступні з тими самими назвами, а також доступні torch і torch.nn як nn.

Інструкції

100 XP
  • Доповніть метод __init__, створивши екземпляри MultiHeadAttention, FeedForwardSubLayer і двох нормалізацій шару.
  • Завершіть метод forward(), заповнивши виклики механізму багатоголової уваги та підшару прямого поширення; для механізму уваги використайте наданий src_mark і вхідні вкладення x як матриці query, key і value.