Začněte nyníZačněte zdarma

Sestavení enkodér-dekodér transformeru

Teď, když máš aktualizovanou třídu DecoderLayer a odpovídající úpravy jsou hotové i v TransformerDecoder, je čas vše poskládat dohromady. Díky modulárnímu a hierarchickému přístupu při stavbě tříd stačí k sestavení enkodér-dekodér transformeru vytvořit instance jen dvou z nich: TransformerDecoder a TransformerEncoder.

Toto cvičení je součástí kurzu

Transformer Models with PyTorch

Zobrazit kurz

Pokyny k cvičení

  • Dokonči průchod forward() tak, aby se vypočítaly výstupy enkodéru i dekodéru.
  • Vytvoř instanci transformeru a zavolej ho na input_tokens s maskami src_mask, tgt_mask a cross_mask.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Upravit a spustit kód