1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Підшари feed-forward

Підшари feed-forward відображають виходи механізму уваги у абстрактні нелінійні подання, щоб краще схоплювати складні взаємозв'язки.

У цій вправі ви створите FeedForwardSubLayer для трансформера лише з енкодером. Цей шар складатиметься з двох лінійних шарів із функцією активації ReLU між ними. Він також приймає два параметри, d_model і d_ff, які відповідають за розмірність вхідних вкладень і розмірність між лінійними шарами відповідно.

d_model і d_ff уже доступні для використання.

Інструкції

100 XP
  • Визначте перший і другий лінійні шари та активацію ReLU для класу підшару feed-forward, використовуючи d_model і розмірність d_ff між шарами.
  • Пропустіть вхідні дані через шари та функцію активації в методі forward().
  • Створіть екземпляр FeedForwardSubLayer, використовуючи надані d_model і d_ff (встановлені на 512 і 2048 відповідно), і застосуйте його до вхідних вкладень x.