1. Apprendre
    2. /
  2. Cours
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercice

La couche de décodeur

Comme les encodeurs, les décodeurs Transformer sont aussi composés de plusieurs couches qui utilisent l'attention à têtes multiples et des sous‑couches feed‑forward. À vous de combiner ces composants pour construire une classe DecoderLayer.

Les classes MultiHeadAttention et FeedForwardSubLayer sont à votre disposition, ainsi que le tgt_mask que vous avez créé.

Instructions

100 XP

Complétez la méthode forward() pour faire passer les plongements d'entrée à travers les couches définies dans la méthode __init__ :

  • Effectuez le calcul d'attention en utilisant le tgt_mask fourni et les plongements d'entrée, x, pour les matrices requête, clé et valeur.
  • Appliquez le dropout puis la première normalisation, norm1.
  • Effectuez la passe dans la sous‑couche feed‑forward, ff_sublayer.
  • Appliquez le dropout puis la deuxième normalisation, norm2.