เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Transformer ด้วย PyTorch

เมื่อคุ้นเคยกับส่วนประกอบต่าง ๆ ของสถาปัตยกรรม Transformer แล้ว ก็ถึงเวลาสร้างโมเดลขึ้นมาจริง ๆ โมดูล torch.nn ซึ่ง import มาให้แล้วในชื่อ nn ช่วยให้ทำสิ่งนี้ได้ในโค้ดเพียงไม่กี่บรรทัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนด Transformer ที่มี attention head จำนวน 8 หัว, encoder และ decoder จำนวน 6 เลเยอร์ และใช้ embedding ของลำดับอินพุตที่มีความยาว 1536
  • พิมพ์ออบเจกต์โมเดลเพื่อดูสถาปัตยกรรมของโมเดล

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Define the transformer model
model = ____

# Print the model object
print(____)
แก้ไขและรันโค้ด