1. Learn
    2. /
  2. 课程
    3. /
  3. Modèles Transformer avec PyTorch
Connected

道练习

Implémenter l'attention multi-tête

Avant de vous lancer dans la création de votre propre classe MultiHeadAttention, essayez d'utiliser la classe pour voir comment elle transforme les matrices query, key et value. Rappelez-vous que ces matrices sont générées en projetant les plongements d'entrée au moyen de transformations linéaires avec des poids appris.

Les matrices query, key et value ont déjà été créées pour vous, et MultiHeadAttention a été défini pour vous.

说明

100 XP
  • Définissez les paramètres d'attention pour huit têtes d'attention et des plongements d'entrée de dimension 512.
  • Créez une instance de la classe MultiHeadAttention en utilisant les paramètres définis.
  • Faites passer les matrices query, key et value dans le mécanisme multihead_attn.