1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

연습 문제

フィードフォワード・サブレイヤー

フィードフォワード・サブレイヤーは、アテンションの出力を非線形な抽象表現へ写像し、複雑な関係をよりよく捉えられるようにします。

この演習では、エンコーダ専用のトランスフォーマ向けに FeedForwardSubLayer を作成します。これは2つの線形層の間に ReLU 活性化関数を挟んだ構成になります。さらに、入力埋め込みの次元と、線形層間の中間次元を表す2つのパラメータ d_model と d_ff を受け取ります。

d_model と d_ff はすでに用意されています。

지침

100 XP
  • フィードフォワード・サブレイヤークラスで、d_model と層間の次元 d_ff を用いて、1つ目と2つ目の線形層および ReLU 活性化を定義します。
  • forward() メソッドで、入力を各層と活性化関数に順に通します。
  • 用意された d_model と d_ff（それぞれ 512 と 2048）で FeedForwardSubLayer をインスタンス化し、入力埋め込み x に適用します。