1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Transformer Models with PyTorch
Connected

cvičení

Vrstva dekodéru

Stejně jako enkodérové transformery se i dekodérové transformery skládají z více vrstev využívajících multi-head attention a feed-forward podvrstvy. Zkus tyto komponenty propojit a sestavit třídu DecoderLayer.

Třídy MultiHeadAttention a FeedForwardSubLayer jsou k dispozici, stejně jako dříve vytvořená maska tgt_mask.

Pokyny

100 XP

Dokonči metodu forward() tak, aby vstupní embeddingy prošly vrstvami definovanými v metodě __init__:

  • Proveď výpočet attention pomocí zadané masky tgt_mask a vstupních embeddingů x pro matice query, key a value.
  • Aplikuj dropout a první normalizaci vrstvy, norm1.
  • Proveď průchod přes feed-forward podvrstvu, ff_sublayer.
  • Aplikuj dropout a druhou normalizaci vrstvy, norm2.