1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Основна частина трансформера-енкодера

Ваш корпус трансформера лише з енкодером майже готовий! Пора об'єднати класи InputEmbeddings, PositionalEncoding та EncoderLayer, які ви створили раніше, у клас TransformerEncoder.

Інструкції

100 XP
  • Визначте вкладення токенів, позиційне кодування та шари енкодера (скористайтеся генератором списку, щоб створити num_layers шарів енкодера).
  • Виконайте прямий прохід через ці шари.