1. Apprendre
    2. /
  2. Cours
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercice

Démarrer la classe MultiHeadAttentionClass

Maintenant que vous avez défini des classes pour créer les intégrations de jetons (token embeddings) et les intégrations positionnelles, il est temps de définir une classe pour effectuer l'attention à têtes multiples. Pour commencer, configurez les paramètres utilisés pour le calcul de l'attention et les couches linéaires servant à transformer les intégrations d'entrée en matrices de requêtes (query), de clés (key) et de valeurs (value), ainsi qu'une couche pour projeter les pondérations d'attention combinées de nouveau en intégrations.

torch.nn a été importé sous le nom nn.

Instructions

100 XP
  • Calculez la dimension d'intégration que chaque tête d'attention traitera, head_dim.
  • Définissez les trois couches d'entrée (pour query, key et value) ainsi qu'une couche de sortie; retirez le paramètre de biais des couches d'entrée.