Přidání hlavy transformeru
Teď si navrhneme hlavu transformeru, která se dá využít pro klasifikační úlohy, jako je analýza sentimentu nebo kategorizace. Definuješ třídu ClassifierHead, vytvoříš instance těla a hlavy a otestuješ je tím, že přes obě části pošleš sérii token ID.
Poznámka: Protože tento model ještě nebyl natrénován, výstupy nebudou dávat smysl. I tak je ale dobré ověřit, že kód dokáže zpracovat vstupy a vygenerovat výstupy v očekávaném formátu.
Toto cvičení je součástí kurzu
Transformer Models with PyTorch
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)