CommencezCommencez gratuitement

Construire le transformeur encodeur-décodeur

Maintenant que vous avez mis à jour la classe DecoderLayer, et que les changements équivalents ont été apportés à TransformerDecoder, vous êtes prêt à tout rassembler. Comme vous avez conçu vos classes de façon modulaire et hiérarchique, il vous suffit d'en instancier deux pour construire le transformeur encodeur-décodeur : TransformerDecoder et TransformerEncoder.

Cette activité fait partie du cours

Modèles Transformer avec PyTorch

Voir le cours

Instructions de l’exercice

  • Complétez la passe forward() pour calculer les sorties de l'encodeur et du décodeur.
  • Instanciez et appelez le transformeur sur input_tokens en utilisant src_mask, tgt_mask et cross_mask fournis.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Modifier et exécuter le code