添加 Transformer 头部
现在来设计一个可用于分类任务(如情感分析或类别归属)的 transformer 头部。您将定义一个 ClassifierHead 类,创建主体和头部实例,并将一系列 token ID 依次传入二者,测试它们是否按预期工作。
注意:由于该模型尚未训练,输出没有实际意义。但测试代码是否能按预期处理输入并生成相应形式的输出,依然是很好的检查。
本练习是课程的一部分
使用 PyTorch 的 Transformer 模型
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)