Övning

Transformers med PyTorch

Nu när du är bekant med de olika komponenterna i transformer-arkitekturen är det dags att definiera en! Modulen torch.nn, importerad som nn, erbjuder ett smidigt sätt att göra detta på bara några kodrader.

Instruktioner

100 XP

Definiera en transformer med 8 uppmärksamhetshuvuden, 6 encoder- och decoderlager samt inmatningssekvenser med inbäddningar av längd 1536.
Skriv ut modellobjektet för att se modellarkitekturen.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}Övning

Instruktioner

Övning