Ajouter la tête du transformeur
Il est temps de concevoir une tête de transformeur qui pourra servir pour des tâches de classification comme l'analyse de sentiments ou la catégorisation. Vous allez définir une classe ClassifierHead, créer des instances du corps et de la tête, puis faire passer une série d'identifiants de jetons à travers les deux pour vérifier que tout fonctionne comme prévu.
Remarque : comme ce modèle n'a pas encore été entraîné, les résultats n'auront pas de sens. Cependant, vérifier que le code peut traiter les entrées et produire des sorties dans le format attendu constitue un bon test.
Cette activité fait partie du cours
Modèles Transformer avec PyTorch
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)