ćwiczenie

Transformery w PyTorch

Skoro znasz już różne komponenty architektury transformera, czas zdefiniować własny model! Moduł torch.nn, zaimportowany jako nn, umożliwia zrobienie tego w zaledwie kilku linijkach kodu.

Instrukcje

100 XP

Zdefiniuj transformer z 8 głowicami uwagi, 6 warstwami enkodera i dekodera oraz osadzeniami sekwencji wejściowej o długości 1536.
Wyświetl obiekt modelu, aby zobaczyć jego architekturę.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje

ćwiczenie