การคำนวณ Cross Entropy Loss
Cross-entropy loss เป็นวิธีที่ใช้กันอย่างแพร่หลายในการวัด classification loss ในแบบฝึกหัดนี้ จะได้คำนวณ cross-entropy loss ใน PyTorch โดยใช้:
y: ป้ายกำกับ (label) ที่เป็นค่าจริงscores: เวกเตอร์ของค่าพยากรณ์ก่อนผ่าน softmax
ฟังก์ชัน loss ช่วยให้โครงข่ายประสาทเทียมเรียนรู้ได้โดยการวัดความผิดพลาดของการพยากรณ์ สร้างเวกเตอร์แบบ one-hot encoded สำหรับ y จากนั้นกำหนดฟังก์ชัน cross-entropy loss แล้วคำนวณค่า loss โดยใช้ scores และ label ที่เข้ารหัสแล้ว ผลลัพธ์จะเป็นค่า float ตัวเดียวที่แสดงถึงค่า loss ของตัวอย่างนั้น
torch, CrossEntropyLoss และ torch.nn.functional ในชื่อ F ได้ถูก import ไว้ให้แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning เบื้องต้นด้วย PyTorch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
import torch
import torch.nn.functional as F
from torch.nn import CrossEntropyLoss
y = [2]
scores = torch.tensor([[0.1, 6.0, -2.0, 3.2]])
# Create a one-hot encoded vector of the label y
one_hot_label = F.____(torch.____(____), num_classes=____)