Adăugarea capului transformerului
A venit momentul să proiectezi un cap de transformer care poate fi folosit pentru sarcini de clasificare, cum ar fi analiza sentimentelor sau categorizarea. Vei defini o clasă ClassifierHead, vei crea instanțe ale corpului și capului, apoi vei transmite o serie de ID-uri de token prin ambele pentru a verifica că funcționează conform așteptărilor.
Notă: deoarece acest model nu a fost antrenat încă, rezultatele vor fi lipsite de sens, însă verificarea faptului că fragmentul de cod poate procesa intrări și genera ieșiri în forma dorită reprezintă un test util.
Acest exercițiu face parte din cursul
Modele Transformer cu PyTorch
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)