1. Apprendre
    2. /
  2. Cours
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercice

Compléter le transformeur décodeur

C'est le moment de construire le corps du transformeur décodeur ! Il s'agit de combiner les classes InputEmbeddings, PositionalEncoding et DecoderLayer que vous avez créées plus tôt.

Instructions

100 XP
  • Définissez une liste de couches de décodeur de longueur num_layers à l'aide d'une compréhension de liste et de la classe DecoderLayer.
  • Définissez une couche linéaire pour projeter les états cachés en vraisemblances de mots.
  • Complétez le passage avant à travers les couches définies dans __init__.
  • Instanciez un transformeur décodeur et appliquez-le à input_tokens et tgt_mask.