Den Transformer-Head hinzufügen
Zeit, einen Transformer-Head zu entwerfen, der für Klassifikationsaufgaben wie Sentiment-Analyse oder Kategorisierung verwendet werden kann. Du definierst eine ClassifierHead-Klasse, erstellst Instanzen von Body und Head und leitest eine Folge von Token-IDs durch beide, um zu testen, ob alles wie erwartet funktioniert.
Hinweis: Da dieses Modell noch nicht trainiert wurde, sind die Ausgaben bedeutungslos. Es ist jedoch ein guter Test zu prüfen, ob der Code Eingaben verarbeiten und Ausgaben in der erwarteten Form erzeugen kann.
Diese Übung ist Teil des Kurses
<Kurs>Transformer-Modelle mit PyTorch</Kurs>Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)