1. Apprendre
    2. /
  2. Cours
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercice

Concevoir un masque pour l'auto-attention

Pour que le décodeur puisse apprendre à prédire les jetons, il est essentiel de masquer les jetons futurs lors de la modélisation des séquences d'entrée. Vous allez construire un masque sous forme de matrice triangulaire de valeurs True et False, avec des False sur la diagonale supérieure afin d'exclure les jetons futurs.

Instructions

100 XP
  • Créez une matrice booléenne, tgt_mark, pour masquer les jetons futurs dans le mécanisme d'attention du corps du décodeur.