1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

演習

デコーダー Transformer を完成させる

いよいよデコーダー Transformer の本体を実装します。これまでに作成した InputEmbeddings、PositionalEncoding、DecoderLayer クラスを組み合わせます。

指示

100 XP
  • 内包表記と DecoderLayer クラスを使って、num_layers 個のデコーダーレイヤーのリストを定義します。
  • 隠れ状態を単語の尤度に射影する線形層を定義します。
  • __init__ で定義したレイヤーを使って順伝播を完成させます。
  • デコーダー Transformer をインスタンス化し、input_tokens と tgt_mask に適用します。