Tworzenie modelu RNN z mechanizmem uwagi

Zespół PyBooks bada różne architektury głębokiego uczenia. Po przeprowadzeniu analizy postanawiasz zaimplementować sieć RNN z mechanizmem uwagi (ang. Attention), która będzie przewidywać następne słowo w zdaniu. Dysponujesz zbiorem danych zawierającym zdania oraz słownik utworzony na ich podstawie.

Następujące pakiety zostały już zaimportowane: torch, nn.

Następujące elementy są wstępnie załadowane:

vocab i vocab_size: zbiór słownictwa i jego rozmiar
word_to_ix i ix_to_word: słowniki mapujące słowa na indeksy i indeksy na słowa
input_data i target_data: zbiór danych przekształcony na pary wejście–wyjście
embedding_dim i hidden_dim: wymiary osadzeń i ukrytego stanu RNN

Możesz sprawdzić zmienną data w konsoli, aby zobaczyć przykładowe zdania.

Utwórz warstwę osadzeń dla słownictwa z podanym wymiarem embedding_dim.
Zastosuj transformację liniową do sekwencji wyjściowej RNN, aby uzyskać wyniki uwagi.
Wyznacz wagi uwagi na podstawie tych wyników.
Oblicz wektor kontekstu jako ważoną sumę wyjść RNN i wag uwagi.