1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

演習

エンコーダ・デコーダTransformerの構築

DecoderLayer クラスを更新し、同様の変更を TransformerDecoder にも反映できたので、いよいよすべてを組み合わせます。クラスをモジュール化し階層的に設計してきたため、エンコーダ・デコーダ型のTransformerを構築するには、TransformerDecoder と TransformerEncoder の2つをインスタンス化するだけで済みます。

指示

100 XP
  • エンコーダとデコーダの出力を計算するように forward() を完成させてください。
  • 用意された src_mask、tgt_mask、cross_mask を使って、input_tokens に対してTransformerをインスタンス化し呼び出してください。