BaşlayınÜcretsiz Başlayın

İleri beslemeli alt katmanlar

İleri beslemeli alt katmanlar, dikkat mekanizmasının çıktısını karmaşık ilişkileri daha iyi yakalamak için soyut, doğrusal olmayan temsillere dönüştürür.

Bu egzersizde, yalnızca kodlayıcıdan oluşan transformer'ın için bir FeedForwardSubLayer oluşturacaksın. Bu katman, arasında ReLU aktivasyon fonksiyonu bulunan iki doğrusal katmandan oluşacak. Ayrıca, sırasıyla giriş gömlemelerinin boyutunu ve doğrusal katmanlar arasındaki boyutu temsil eden d_model ve d_ff olmak üzere iki parametre alır.

d_model ve d_ff senin için hazır durumda.

Bu egzersiz

PyTorch ile Transformer Modelleri

kursunun bir parçasıdır
Kursu Görüntüle

Egzersiz talimatları

  • d_model ve katmanlar arasında bir d_ff boyutu kullanarak, ileri beslemeli alt katman sınıfı için birinci ve ikinci doğrusal katmanları ve ReLU aktivasyonunu tanımla.
  • forward() metodunda girdiyi katmanlar ve aktivasyon fonksiyonundan sırayla geçir.
  • Sağlanan d_model ve d_ff değerlerini (sırasıyla 512 ve 2048 olarak ayarlı) kullanarak FeedForwardSubLayer örneğini oluştur ve giriş gömlemeleri x üzerine uygula.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

class FeedForwardSubLayer(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        # Define the layers and activation
        self.fc1 = ____
        self.fc2 = ____
        self.relu = ____

    def forward(self, x):
        # Pass the input through the layers and activation
        return self.____(self.____(self.____(x)))
    
# Instantiate the FeedForwardSubLayer and apply it to x
feed_forward = ____
output = ____
print(f"Input shape: {x.shape}")
print(f"Output shape: {output.shape}")
Kodu Düzenle ve Çalıştır