BaşlayınÜcretsiz Başlayın

Encoder-decoder transformer'ını oluşturma

DecoderLayer sınıfını güncellediğine ve eşdeğer değişiklikler TransformerDecoder'a uygulandığına göre, artık her şeyi bir araya getirmeye hazırsın. Sınıflarını modüler ve hiyerarşik şekilde kurduğun için, encoder-decoder transformer'ı inşa etmek için yalnızca iki sınıfı somutlaştırıp (instantiate) çağırman yeterli: TransformerDecoder ve TransformerEncoder.

Bu egzersiz

PyTorch ile Transformer Modelleri

kursunun bir parçasıdır
Kursu Görüntüle

Egzersiz talimatları

  • Encoder ve decoder çıktıları hesaplanacak şekilde forward() geçişini tamamla.
  • Verilen src_mask, tgt_mask ve cross_mask'i kullanarak input_tokens üzerinde transformer'ı somutlaştır ve çağır.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
Kodu Düzenle ve Çalıştır