ПочатиПочніть безкоштовно

Трансформери в PyTorch

Тепер, коли ви ознайомилися з різними компонентами архітектури трансформера, час визначити власну модель! Модуль torch.nn, імпортований для вас як nn, надає дуже зручний спосіб зробити це всього за кілька рядків коду.

Ця вправа є частиною курсу

Моделі Transformer з PyTorch

Переглянути курс

Інструкції до вправи

  • Визначте трансформер із 8 головами уваги, 6 шарами енкодера та декодера, і з вкладеннями вхідної послідовності довжини 1536.
  • Надрукуйте об'єкт моделі, щоб переглянути архітектуру моделі.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Define the transformer model
model = ____

# Print the model object
print(____)
Редагувати та запускати код