开始使用免费开始使用

添加 Transformer 头部

现在来设计一个可用于分类任务(如情感分析或类别归属)的 transformer 头部。您将定义一个 ClassifierHead 类,创建主体和头部实例,并将一系列 token ID 依次传入二者,测试它们是否按预期工作。

注意:由于该模型尚未训练,输出没有实际意义。但测试代码是否能按预期处理输入并生成相应形式的输出,依然是很好的检查。

本练习是课程的一部分

使用 PyTorch 的 Transformer 模型

查看课程

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Complete the classification head
class ClassifierHead(nn.Module):
    def __init__(self, d_model, num_classes):
        super().__init__()
        self.fc = ____

    def forward(self, x):
        logits = self.fc(x)
        return F.____(logits, dim=-1)
编辑并运行代码