1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Transformer Models with PyTorch
Connected

cvičení

Dokončení dekodérového transformeru

Čas sestavit tělo dekodérového transformeru! Zkombinuješ třídy InputEmbeddings, PositionalEncoding a DecoderLayer, které jsi vytvořil/a dříve.

Pokyny

100 XP
  • Pomocí list comprehension a třídy DecoderLayer definuj seznam num_layers dekodérových vrstev.
  • Definuj lineární vrstvu, která promítne skryté stavy na pravděpodobnosti slov.
  • Dokonči dopředný průchod přes vrstvy definované v __init__.
  • Vytvoř instanci dekodérového transformeru a aplikuj ji na input_tokens a tgt_mask.