1. Learn
  2. /
  3. Курси
  4. /
  5. Моделі Transformer з PyTorch

Connected

Вправа

Трансформери в PyTorch

Тепер, коли ви ознайомилися з різними компонентами архітектури трансформера, час визначити власну модель! Модуль torch.nn, імпортований для вас як nn, надає дуже зручний спосіб зробити це всього за кілька рядків коду.

Інструкції

100 XP
  • Визначте трансформер із 8 головами уваги, 6 шарами енкодера та декодера, і з вкладеннями вхідної послідовності довжини 1536.
  • Надрукуйте об'єкт моделі, щоб переглянути архітектуру моделі.