1. Nauka
    2. /
  2. Kursy
    3. /
  3. Modele Transformer w PyTorch
Connected

ćwiczenie

Dodawanie głowy transformera

Czas zaprojektować głowę transformera, którą można wykorzystać w zadaniach klasyfikacyjnych – takich jak analiza sentymentu czy kategoryzacja. Zdefiniujesz klasę ClassifierHead, utworzysz instancje ciała i głowy modelu, a następnie przepuścisz przez nie serię identyfikatorów tokenów, żeby sprawdzić, czy działają zgodnie z oczekiwaniami.

Uwaga: ponieważ model nie był jeszcze trenowany, wyniki będą pozbawione sensu – jednak sprawdzenie, czy kod potrafi przetworzyć dane wejściowe i wygenerować wyniki w oczekiwanej postaci, jest dobrym testem.

Instrukcje 1/3

undefined XP
    1
    2
    3
  • Uzupełnij głowę transformera tak, aby przekształcała wyjścia enkodera w predykcje klas (liczba klas jest reprezentowana przez num_classes).