1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Transformer Models with PyTorch
Connected

cvičení

Přidání hlavy transformeru

Teď si navrhneme hlavu transformeru, která se dá využít pro klasifikační úlohy, jako je analýza sentimentu nebo kategorizace. Definuješ třídu ClassifierHead, vytvoříš instance těla a hlavy a otestuješ je tím, že přes obě části pošleš sérii token ID.

Poznámka: Protože tento model ještě nebyl natrénován, výstupy nebudou dávat smysl. I tak je ale dobré ověřit, že kód dokáže zpracovat vstupy a vygenerovat výstupy v očekávaném formátu.

Pokyny 1/3

undefined XP
    1
    2
    3
  • Dokonči hlavu transformeru tak, aby převáděla výstupy enkodéru na předpovědi tříd (počet tříd je reprezentován hodnotou num_classes).