1. Lära sig
    2. /
  2. Courses
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

exercise

Transformerヘッドの追加

感情分析やカテゴリ分類のような分類タスクに使えるTransformerヘッドを設計していきます。ClassifierHead クラスを定義し、ボディとヘッドのインスタンスを作成し、一連のトークンIDをそれらに通して、想定どおりに動作するかを確認します。

Note: このモデルはまだ学習していないため、出力には意味がありません。ただし、コードが入力を処理して、期待する形式の出力を生成できるかを確かめることは良いテストになります。

Instruktioner 1 / 3

undefined XP
    1
    2
    3
  • エンコーダの出力をクラス予測（クラス数は num_classes）に変換するTransformerヘッドを完成させてください。