1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Додавання голови трансформера

Час спроєктувати голову трансформера, яку можна використовувати для задач класифікації, як-от аналіз тональності чи категоризація. Ви визначите клас ClassifierHead, створите екземпляри «тіла» та «голови», а потім пропустите послідовність ідентифікаторів токенів через обидві частини, щоб перевірити, що все працює як очікується.

Примітка: оскільки цю модель ще не навчено, результати не матимуть змісту. Проте перевірка того, що код може обробляти вхідні дані та видавати результати в очікуваному форматі, — це корисний тест.

Інструкції 1/3

undefined XP
    1
    2
    3
  • Завершіть реалізацію голови трансформера, щоб перетворити виходи енкодера на передбачення класів (кількість класів задає num_classes).