НачатьНачать бесплатно

Добавление головы трансформера

Пришло время создать голову трансформера для задач классификации — например, анализа тональности или категоризации. Вы определите класс ClassifierHead, создадите экземпляры тела и головы модели, а затем пропустите через них последовательность токенов, чтобы убедиться, что всё работает как ожидается.

Примечание: поскольку модель ещё не обучена, выходные данные будут лишены смысла. Тем не менее проверка того, что код корректно обрабатывает входные данные и формирует выходные данные в нужном формате, — это важный шаг.

Это упражнение является частью курса

Трансформерные модели с PyTorch

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Complete the classification head
class ClassifierHead(nn.Module):
    def __init__(self, d_model, num_classes):
        super().__init__()
        self.fc = ____

    def forward(self, x):
        logits = self.fc(x)
        return F.____(logits, dim=-1)
Редактировать и запускать код