Lägga till transformerhuvudet
Nu är det dags att designa ett transformerhuvud som kan användas för klassificeringsuppgifter, som sentimentanalys eller kategorisering. Du ska definiera en ClassifierHead-klass, skapa instanser av kropp och huvud, och skicka en serie token-ID:n genom dem båda för att kontrollera att de fungerar som förväntat.
Obs! Eftersom modellen inte har tränats ännu saknar utdata meningsfull innebörd – men att testa att koden kan bearbeta indata och generera utdata i det format du förväntar dig är ett bra test.
Den här övningen är en del av kursen
Transformermodeller med PyTorch
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)