IniziaInizia gratis

Costruire il transformer encoder-decoder

Ora che hai aggiornato la classe DecoderLayer e che le modifiche equivalenti sono state applicate a TransformerDecoder, sei pronto per mettere tutto insieme. Poiché hai progettato le classi in modo modulare e gerarchico, ti basta istanziare due componenti per costruire il transformer encoder-decoder: TransformerDecoder e TransformerEncoder.

Questo esercizio fa parte del corso

Modelli Transformer con PyTorch

Visualizza il corso

Istruzioni dell'esercizio

  • Completa il passaggio forward() per calcolare gli output di encoder e decoder.
  • Istanzia ed esegui il transformer su input_tokens usando src_mask, tgt_mask e cross_mask fornite.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Modifica ed esegui il codice