1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Deep Learning for Text with PyTorch
Connected

cvičení

Vytvoření RNN modelu s mechanismem pozornosti

Tým v PyBooks prozkoumává různé architektury deep learningu. Po důkladném výzkumu se rozhodneš implementovat RNN s mechanismem pozornosti (Attention) pro predikci dalšího slova ve větě. K dispozici máš dataset s větami a slovníkem vytvořeným z nich.

Následující balíčky jsou již naimportované: torch, nn.

Následující proměnné jsou předpřipraveny:

  • vocab a vocab_size: sada slovníku a jeho velikost
  • word_to_ix a ix_to_word: slovníky pro mapování slov na indexy a indexů na slova
  • input_data a target_data: dataset převedený na dvojice vstup–výstup
  • embedding_dim a hidden_dim: rozměry pro embedding a skrytý stav RNN

V konzoli si můžeš prohlédnout proměnnou data s ukázkovými větami.

Pokyny

100 XP
  • Vytvoř vrstvu embeddingů pro slovník s daným rozměrem embedding_dim.
  • Aplikuj lineární transformaci na sekvenční výstup RNN, abys získal/a skóre pozornosti.
  • Ze skóre pozornosti získej váhy pozornosti.
  • Vypočítej kontextový vektor jako vážený součet výstupů RNN a vah pozornosti.