Dodawanie głowy transformera
Czas zaprojektować głowę transformera, którą można wykorzystać w zadaniach klasyfikacyjnych – takich jak analiza sentymentu czy kategoryzacja. Zdefiniujesz klasę ClassifierHead, utworzysz instancje ciała i głowy modelu, a następnie przepuścisz przez nie serię identyfikatorów tokenów, żeby sprawdzić, czy działają zgodnie z oczekiwaniami.
Uwaga: ponieważ model nie był jeszcze trenowany, wyniki będą pozbawione sensu – jednak sprawdzenie, czy kod potrafi przetworzyć dane wejściowe i wygenerować wyniki w oczekiwanej postaci, jest dobrym testem.
To ćwiczenie jest częścią kursu
Modele Transformer w PyTorch
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)