1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Deep Learning for Text with PyTorch
Connected

cvičení

Trénování a testování RNN modelu s attention

Tým v PyBooks dříve sestavil RNN model pro predikci slov bez mechanismu attention. Tento původní model, označovaný jako rnn_model, je již natrénovaný a jeho instance je předem načtena. Tvým úkolem je nyní natrénovat nový RNNWithAttentionModel a porovnat jeho predikce s výsledky staršího rnn_model.

Následující objekty jsou pro tebe předem načteny:

  • inputs: seznam vstupních sekvencí jako tensory
  • targets: tensor obsahující cílová slova pro každou vstupní sekvenci
  • optimizer: optimalizátor Adam
  • criterion: funkce CrossEntropyLoss
  • pad_sequences: funkce pro zarovnání vstupních sekvencí pro dávkové zpracování
  • attention_model: třída modelu definovaná v předchozím cvičení
  • rnn_model: natrénovaný RNN model od týmu PyBooks

Pokyny

100 XP
  • Před testováním s testovacími daty přepni RNN model do režimu vyhodnocení.
  • Získej výstup RNN předáním příslušného vstupu do RNN modelu.
  • Z výstupu RNN vyber slovo s nejvyšším skóre predikce.
  • Stejným způsobem vyber z výstupu attention modelu slovo s nejvyšším skóre predikce.