1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

演習

デコーダ層にクロスアテンションを追加する

これまでに定義したエンコーダとデコーダのスタックをエンコーダ-デコーダ型トランスフォーマーに統合するには、両者を橋渡しする クロスアテンション機構 を作成する必要があります。

以前に定義した MultiHeadAttention クラスは引き続き使用できます。

指示

100 XP
  • __init__ メソッドで、クロスアテンション機構（MultiHeadAttention の使用）と3つ目のレイヤー正規化（nn.LayerNorm の使用）を定義します。
  • フォワードパスを完成させ、デコーダ層にクロスアテンションを追加します。