Adicionando a cabeça do transformer
Hora de criar uma cabeça de transformer que possa ser usada em tarefas de classificação, como análise de sentimento ou categorização. Você vai definir uma classe ClassifierHead, criar instâncias do corpo e da cabeça, e passar uma sequência de IDs de tokens por ambos para verificar se tudo funciona como esperado.
Observação: como este modelo ainda não foi treinado, as saídas não terão significado, mas testar se o código consegue processar entradas e gerar saídas no formato esperado já é um bom teste.
Este exercicio faz parte do curso
Modelos Transformer com PyTorch
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)