Menambahkan transformer head
Saatnya merancang sebuah transformer head yang dapat digunakan untuk tugas klasifikasi seperti analisis sentimen atau kategorisasi. Anda akan mendefinisikan kelas ClassifierHead, membuat instance untuk body dan head, lalu meneruskan serangkaian ID token melalui keduanya untuk menguji apakah keduanya bekerja seperti yang diharapkan.
Catatan: karena model ini belum dilatih, hasilnya tidak akan bermakna. Namun, menguji bahwa kode dapat memproses masukan dan menghasilkan keluaran dalam bentuk yang Anda harapkan merupakan pengujian yang baik.
Latihan ini merupakan bagian dari kursus
Model Transformer dengan PyTorch
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)