ПочатиПочніть безкоштовно

Основна частина трансформера-енкодера

Ваш корпус трансформера лише з енкодером майже готовий! Пора об'єднати класи InputEmbeddings, PositionalEncoding та EncoderLayer, які ви створили раніше, у клас TransformerEncoder.

Ця вправа є частиною курсу

Моделі Transformer з PyTorch

Переглянути курс

Інструкції до вправи

  • Визначте вкладення токенів, позиційне кодування та шари енкодера (скористайтеся генератором списку, щоб створити num_layers шарів енкодера).
  • Виконайте прямий прохід через ці шари.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

class TransformerEncoder(nn.Module):
    def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
        super().__init__()
        # Define the embedding, positional encoding, and encoder layers
        self.embedding = ____(vocab_size, d_model)
        self.positional_encoding = ____(d_model, max_seq_length)
        self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])

    def forward(self, x, src_mask):
        # Perform the forward pass through the layers
        x = self.____(x)
        x = self.____(x)
        for layer in ____:
            x = layer(x, src_mask)
        return x
Редагувати та запускати код