ÎncepețiÎncepe gratuit

Construirea transformerului encoder-decoder

Acum că ai actualizat clasa DecoderLayer și că modificările echivalente au fost aplicate și în TransformerDecoder, ești pregătit să pui totul cap la cap. Deoarece ai construit clasele într-un mod modular și ierarhic, trebuie să instanțiezi doar două dintre ele pentru a construi transformerul encoder-decoder: TransformerDecoder și TransformerEncoder.

Acest exercițiu face parte din cursul

Modele Transformer cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

  • Completează pasul forward() pentru a calcula rezultatele encoderului și decoderului.
  • Instanțiază și apelează transformerul pe input_tokens folosind src_mask, tgt_mask și cross_mask furnizate.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Editează și rulează codul