Self-attention vs. Multi-head Attention
คุณเป็นนักวิเคราะห์ข้อมูลในทีมพัฒนา AI โปรเจกต์ปัจจุบันเกี่ยวข้องกับการทำความเข้าใจและนำแนวคิด Self-attention และ Multi-head attention ไปใช้ในโมเดลภาษา ลองพิจารณาวลีต่อไปนี้จากชุดข้อมูลบทสนทนา
ใช้แอปพลิเคชันแบบอินเทอร์แอกทีฟเพื่อสำรวจความแตกต่างระหว่าง Self-attention (ความสัมพันธ์ระหว่างคำเฉพาะเจาะจงในข้อความ) และ Multi-head attention (การประมวลผลหลายแง่มุมของข้อความพร้อมกัน)
งานวิเคราะห์ใดบ้างที่เป็นตัวอย่างของ Self-attention และ Multi-head attention?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
แนวคิดของ Large Language Models (LLMs)
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด