1. Apprendre
    2. /
  2. Cours
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercice

Construire le transformeur encodeur-décodeur

Maintenant que vous avez mis à jour la classe DecoderLayer, et que les changements équivalents ont été apportés à TransformerDecoder, vous êtes prêt à tout rassembler. Comme vous avez conçu vos classes de façon modulaire et hiérarchique, il vous suffit d'en instancier deux pour construire le transformeur encodeur-décodeur : TransformerDecoder et TransformerEncoder.

Instructions

100 XP
  • Complétez la passe forward() pour calculer les sorties de l'encodeur et du décodeur.
  • Instanciez et appelez le transformeur sur input_tokens en utilisant src_mask, tgt_mask et cross_mask fournis.