ทำความเข้าใจโครงสร้าง Transformer

สถาปัตยกรรม Transformer ได้เปลี่ยนโฉมการสร้างโมเดลลำดับ (sequence modeling) โดยผสานความก้าวหน้าหลายด้านของ deep learning เข้าไว้ด้วยกัน ไม่ว่าจะเป็น positional encoding, กลไก attention และอีกมากมาย

คอมโพเนนต์ใดในสถาปัตยกรรม Transformer ที่รับผิดชอบในการเก็บข้อมูลเกี่ยวกับ ตำแหน่ง ของแต่ละ token ในลำดับ?

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

เริ่มคอร์สฟรี

ค้นพบว่าอะไรทำให้สถาปัตยกรรม deep learning ที่ได้รับความนิยมสูงสุดใน AI ทำงานได้อย่างทรงพลัง เรียนรู้ส่วนประกอบต่างๆ ของ Transformer models รวมถึง self-attention mechanism อันโด่งดังที่อธิบายไว้ในงานวิจัยชื่อเลื่องลือ "Attention is All You Need"

Exercise 1: Transformer Models ด้วย PyTorch Exercise 2: ทำความเข้าใจโครงสร้าง Transformer

แบบฝึกหัดปัจจุบัน

Exercise 3: Transformer ด้วย PyTorch Exercise 4: เอ็มเบดดิ้งและการเข้ารหัสตำแหน่ง Exercise 5: การสร้าง Input Embeddings Exercise 6: การสร้าง Positional Encoding Exercise 7: Multi-head self-attention Exercise 8: การนำ Multi-Head Attention ไปใช้งาน Exercise 9: เริ่มต้นสร้างคลาส MultiHeadAttention Exercise 10: เพิ่มเมธอดให้กับคลาส MultiHeadAttention

ออกแบบบล็อก encoder และ decoder ของ transformer แล้วนำมารวมกับ positional encoding, multi-headed attention และ position-wise feed-forward network เพื่อสร้างสถาปัตยกรรม Transformer ของตัวเอง ระหว่างทาง คุณจะได้เข้าใจอย่างลึกซึ้งว่า transformer ทำงานอย่างไรภายใต้เบื้องหลัง

Exercise 1: Encoder transformers Exercise 2: Feed-forward sublayers Exercise 3: เลเยอร์ encoder transformer Exercise 4: โครงสร้างหลักของ encoder transformer Exercise 5: การเพิ่ม Transformer Head Exercise 6: Decoder Transformers Exercise 7: การออกแบบ mask สำหรับ self-attention Exercise 8: Decoder layer Exercise 9: สร้าง decoder transformer ให้สมบูรณ์Exercise 10: Transformer แบบ Encoder-Decoder Exercise 11: เพิ่ม cross-attention ใน decoder layer Exercise 12: การสร้าง Encoder-Decoder Transformer Exercise 13: ยินดีด้วย!