アテンション付き RNN モデルの作成

PyBooks では、チームがさまざまなディープラーニングのアーキテクチャを検討しています。調査の結果、文章中の次の単語を予測するために、アテンション機構付きの RNN を実装することにしました。文章のデータセットと、そこから作成された語彙が与えられています。

次のパッケージはインポート済みです：torch、nn。

次の変数はあらかじめ用意されています：

vocab と vocab_size：語彙集合とそのサイズ
word_to_ix と ix_to_word：単語からインデックス、インデックスから単語への対応辞書
input_data と target_data：入力と出力のペアに変換したデータセット
embedding_dim と hidden_dim：埋め込みと RNN の隠れ状態の次元

コンソールで data 変数を確認すると、例文を参照できます。

指定された embedding_dim を用いて、語彙向けの埋め込み層を作成します。
RNN の系列出力に線形変換を適用して、アテンションスコアを得ます。
スコアからアテンション重みを取得します。
RNN の出力とアテンション重みの加重和としてコンテキストベクトルを計算します。