Añadir la cabeza del transformer
Es hora de diseñar una cabeza de transformer que puedas usar en tareas de clasificación como análisis de sentimiento o categorización. Definirás una clase ClassifierHead, crearás instancias del cuerpo y la cabeza, y pasarás una serie de IDs de tokens por ambos para comprobar que funcionan como esperas.
Nota: como este modelo aún no se ha entrenado, las salidas no tendrán significado, pero comprobar que el código puede procesar entradas y generar salidas en el formato esperado es una buena prueba.
Este ejercicio forma parte del curso
Modelos Transformer con PyTorch
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)