เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การเพิ่ม Transformer Head

ถึงเวลาออกแบบ transformer head สำหรับงานจำแนกประเภท (classification) เช่น การวิเคราะห์ความรู้สึก หรือการจัดหมวดหมู่ โดยจะกำหนดคลาส ClassifierHead สร้าง instance ของส่วน body และ head แล้วส่งชุด token ID ผ่านทั้งสองส่วนเพื่อทดสอบว่าทำงานได้ถูกต้อง

หมายเหตุ: เนื่องจากโมเดลนี้ยังไม่ได้ถูกฝึก ผลลัพธ์ที่ได้จะยังไม่มีความหมาย แต่การทดสอบว่าโค้ดสามารถรับข้อมูลเข้าและสร้างผลลัพธ์ในรูปแบบที่คาดหวังได้นั้นถือเป็นการทดสอบที่ดี

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Complete the classification head
class ClassifierHead(nn.Module):
    def __init__(self, d_model, num_classes):
        super().__init__()
        self.fc = ____

    def forward(self, x):
        logits = self.fc(x)
        return F.____(logits, dim=-1)
แก้ไขและรันโค้ด