1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

演習

エンコーダートランスフォマー層

FeedForwardSubLayer クラスが定義できたので、EncoderLayer クラスを定義するために必要な部品がそろいました。エンコーダー層は一般に、マルチヘッドアテンション機構と、サブレイヤーの入出力に対してレイヤー正規化とドロップアウトを伴うフィードフォワードサブレイヤーで構成されることを思い出してください。

すでに定義したクラスは同じ名前で利用できます。加えて、torch および torch.nn は nn としてインポート済みです。

指示

100 XP
  • __init__ メソッドを完成させて、MultiHeadAttention、FeedForwardSubLayer、および 2 つのレイヤー正規化をインスタンス化してください。
  • forward() メソッドを完成させ、マルチヘッドアテンション機構とフィードフォワードサブレイヤーを実装してください。アテンション機構には、提供された src_mark と、クエリ・キー・バリュー行列として入力埋め込み x を使用します。