ПочатиПочніть безкоштовно

Додавання голови трансформера

Час спроєктувати голову трансформера, яку можна використовувати для задач класифікації, як-от аналіз тональності чи категоризація. Ви визначите клас ClassifierHead, створите екземпляри «тіла» та «голови», а потім пропустите послідовність ідентифікаторів токенів через обидві частини, щоб перевірити, що все працює як очікується.

Примітка: оскільки цю модель ще не навчено, результати не матимуть змісту. Проте перевірка того, що код може обробляти вхідні дані та видавати результати в очікуваному форматі, — це корисний тест.

Ця вправа є частиною курсу

Моделі Transformer з PyTorch

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Complete the classification head
class ClassifierHead(nn.Module):
    def __init__(self, d_model, num_classes):
        super().__init__()
        self.fc = ____

    def forward(self, x):
        logits = self.fc(x)
        return F.____(logits, dim=-1)
Редагувати та запускати код