Transformerヘッドの追加
感情分析やカテゴリ分類のような分類タスクに使えるTransformerヘッドを設計していきます。ClassifierHead クラスを定義し、ボディとヘッドのインスタンスを作成し、一連のトークンIDをそれらに通して、想定どおりに動作するかを確認します。
Note: このモデルはまだ学習していないため、出力には意味がありません。ただし、コードが入力を処理して、期待する形式の出力を生成できるかを確かめることは良いテストになります。
この演習はコースの一部です
PyTorchで学ぶTransformerモデル
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)