1. Learn
    2. /
  2. Cursuri
    3. /
  3. Transformer Models with PyTorch
Connected

exercițiu

Feed-forward podvrstvy

Feed-forward podvrstvy mapují výstupy attention mechanismu do abstraktních nelineárních reprezentací, aby lépe zachytily složité vztahy.

V tomto cvičení vytvoříš FeedForwardSubLayer pro svůj encoder-only transformer. Tato vrstva se skládá ze dvou lineárních vrstev s aktivační funkcí ReLU mezi nimi. Přijímá také dva parametry, d_model a d_ff, které představují dimenzionalitu vstupních embeddingů a dimenzi mezi lineárními vrstvami.

d_model a d_ff jsou pro tebe již připraveny.

Instrucțiuni

100 XP
  • Definuj první a druhou lineární vrstvu a aktivační funkci ReLU pro třídu feed-forward podvrstvy s použitím d_model a dimenze d_ff mezi vrstvami.
  • Předej vstup vrstvami a aktivační funkcí v metodě forward().
  • Vytvoř instanci FeedForwardSubLayer s použitím zadaných hodnot d_model a d_ff (nastavených na 512, resp. 2048) a aplikuj ji na vstupní embeddingy x.