Añadir la cabeza del transformer
Es hora de diseñar una cabeza de transformer que puedas usar en tareas de clasificación como análisis de sentimiento o categorización. Definirás una clase ClassifierHead, crearás instancias del cuerpo y la cabeza, y pasarás una serie de IDs de tokens por ambos para comprobar que funcionan como esperas.
Nota: como este modelo aún no se ha entrenado, las salidas no tendrán significado, pero comprobar que el código puede procesar entradas y generar salidas en el formato esperado es una buena prueba.
Este ejercicio forma parte del curso
Modelos Transformer con PyTorch
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)