Zacznij terazZacznij za darmo

Ciało transformera enkodera

Ciało twojego transformera opartego wyłącznie na enkoderze jest już prawie gotowe! Czas połączyć klasy InputEmbeddings, PositionalEncoding i EncoderLayer, które wcześniej utworzyłeś, w klasę TransformerEncoder.

To ćwiczenie jest częścią kursu

Modele Transformer w PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

  • Zdefiniuj osadzenia tokenów, kodowanie pozycyjne i warstwy enkodera (użyj wyrażenia listowego, aby utworzyć num_layers warstw enkodera).
  • Wykonaj przebieg w przód przez te warstwy.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

class TransformerEncoder(nn.Module):
    def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
        super().__init__()
        # Define the embedding, positional encoding, and encoder layers
        self.embedding = ____(vocab_size, d_model)
        self.positional_encoding = ____(d_model, max_seq_length)
        self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])

    def forward(self, x, src_mask):
        # Perform the forward pass through the layers
        x = self.____(x)
        x = self.____(x)
        for layer in ____:
            x = layer(x, src_mask)
        return x
Edytuj i uruchom kod