Transformer başlığını ekleme
Duygu analizi veya kategorileme gibi sınıflandırma görevlerinde kullanılabilecek bir transformer başlığı tasarlama zamanı. Bir ClassifierHead sınıfı tanımlayacak, gövde ve başlığın örneklerini oluşturacak ve ikisinin de beklendiği gibi çalıştığını test etmek için bir dizi token ID'sini bunlardan geçireceksin.
Not: Bu model henüz eğitilmediği için çıktılar anlamsız olacaktır; ancak kodun girdileri işleyip beklediğin biçimde çıktılar üretebildiğini test etmek iyi bir kontroldür.
Bu egzersiz
PyTorch ile Transformer Modelleri
kursunun bir parçasıdırUygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)