ComenzarEmpieza gratis

Construir el transformer codificador-decodificador

Ahora que has actualizado la clase DecoderLayer, y se han hecho los cambios equivalentes en TransformerDecoder, ya puedes unirlo todo. Como has creado tus clases de forma modular y jerárquica, solo necesitas instanciar dos de ellas para construir el transformer codificador-decodificador: TransformerDecoder y TransformerEncoder.

Este ejercicio forma parte del curso

Modelos Transformer con PyTorch

Ver curso

Instrucciones del ejercicio

  • Completa el paso forward() para calcular las salidas del codificador y del decodificador.
  • Instancia y ejecuta el transformer sobre input_tokens usando src_mask, tgt_mask y cross_mask proporcionadas.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Editar y ejecutar código