BaşlayınÜcretsiz Başlayın

Çok başlı dikkat mekanizmasını uygulama

Kendi MultiHeadAttention sınıfını yazmaya başlamadan önce, bu sınıfı kullanarak sorgu (query), anahtar (key) ve değer (value) matrislerini nasıl dönüştürdüğünü deneyeceksin. Bu matrislerin, girdi gömmelerini öğrenilen ağırlıklara sahip doğrusal dönüşümlerle yansıtarak üretildiğini hatırla.

query, key ve value matrisleri senin için zaten oluşturuldu ve MultiHeadAttention tanımlandı.

Bu egzersiz

PyTorch ile Transformer Modelleri

kursunun bir parçasıdır
Kursu Görüntüle

Egzersiz talimatları

  • Sekiz dikkat başlığı ve boyutu 512 olan girdi gömmeleri için dikkat parametrelerini tanımla.
  • Tanımladığın parametreleri kullanarak MultiHeadAttention sınıfının bir örneğini oluştur.
  • query, key ve value matrislerini multihead_attn mekanizmasından geçir.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Define attention parameters
d_model = ____
num_heads = ____

# Instantiate a MultiHeadAttention instance
multihead_attn = ____

# Pass the query, key, and value matrices through the mechanism
output = ____
print(output.shape)
Kodu Düzenle ve Çalıştır