Ajout de la tête du transformer
Il est temps de concevoir une tête de transformer utilisable pour des tâches de classification, comme l’analyse de sentiment ou la catégorisation. Vous allez définir une classe ClassifierHead, créer des instances du corps et de la tête, puis faire passer une série d’ID de jetons à travers les deux pour vérifier qu’ils fonctionnent comme prévu.
Remarque : comme ce modèle n’a pas encore été entraîné, les sorties n’auront pas de sens. Mais vérifier que le code peut traiter des entrées et produire des sorties sous la forme attendue est un excellent test.
Cet exercice fait partie du cours
Modèles Transformer avec PyTorch
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)