CommencerCommencer gratuitement

Construire le transformeur encodeur-décodeur

Maintenant que vous avez mis à jour la classe DecoderLayer, et que les modifications équivalentes ont été apportées à TransformerDecoder, vous êtes prêt à tout assembler. Comme vous avez construit vos classes de manière modulaire et hiérarchique, il vous suffit d’instancier deux d’entre elles pour créer le transformeur encodeur-décodeur : TransformerDecoder et TransformerEncoder.

Cet exercice fait partie du cours

Modèles Transformer avec PyTorch

Afficher le cours

Instructions

  • Complétez la passe forward() pour calculer les sorties de l’encodeur et du décodeur.
  • Instanciez et appelez le transformeur sur input_tokens en utilisant src_mask, tgt_mask et cross_mask fournis.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Modifier et exécuter le code