1. Learn
    2. /
  2. Kurser
    3. /
  3. Transformer Models with PyTorch
Connected

övning

Vrstva encoderu transformeru

Teď, když máš definovanou třídu FeedForwardSubLayer, máš všechny potřebné stavební bloky pro definici třídy EncoderLayer. Pamatuj, že vrstva encoderu se typicky skládá z mechanismu multi-head attention a feed-forward podvrstvy s normalizací vrstev a dropoutem na vstupech a výstupech podvrstvy.

Třídy, které jsi již definoval/a, jsou dostupné pod stejnými názvy, spolu s torch a torch.nn jako nn.

Instruktioner

100 XP
  • Doplň metodu __init__ tak, aby inicializovala MultiHeadAttention, FeedForwardSubLayer a dvě normalizace vrstev.
  • Doplň metodu forward() implementací mechanismu multi-head attention a feed-forward podvrstvy; pro attention mechanismus použij poskytnutý src_mark a vstupní embeddingy x jako matice query, key a value.