Deep Learning และ DQN

อัลกอริทึม Deep Q Network หรือ DQN ถือเป็นก้าวกระโดดสำคัญในการนำ deep learning มาผสานกับวิธี RL แบบ value-based โครงข่ายประสาทเทียมที่อยู่ในใจกลางของอัลกอริทึม DQN มีบทบาทอย่างไร?

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Reinforcement Learning ด้วย Python

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Reinforcement Learning ด้วย Python

SkillTag.level.advancedSkillTag.label

4.8+

275 reviews

เริ่มคอร์สฟรี

ทำความเข้าใจว่า Deep Reinforcement Learning พัฒนาต่อยอดจาก Reinforcement Learning แบบดั้งเดิมอย่างไร พร้อมศึกษาและลงมือสร้างอัลกอริทึม Deep Q-Learning ตัวแรก

Exercise 1: Deep Reinforcement Learning เบื้องต้น Exercise 2: การตั้งค่า Environment และโครงข่ายประสาทเทียม Exercise 3: ลูปการฝึก DRL Exercise 4: บทนำสู่ Deep Q Learning Exercise 5: Deep Learning และ DQN

แบบฝึกหัดปัจจุบัน

Exercise 6: สถาปัตยกรรมของ Q-Network Exercise 7: การสร้าง Q-Network Exercise 8: อัลกอริทึม DQN แบบพื้นฐาน Exercise 9: การเลือก action ด้วย DQN พื้นฐาน Exercise 10: ฟังก์ชัน Loss ของ DQN แบบพื้นฐาน Exercise 11: ฝึก Barebone DQN

เจาะลึก Deep Q-learning ด้วยการสร้างอัลกอริทึม DQN ต้นฉบับ ซึ่งประกอบด้วย Experience Replay, epsilon-greedy policy และ Fixed Q-targets จากนั้นสำรวจสองส่วนขยายที่น่าสนใจซึ่งช่วยเพิ่มประสิทธิภาพและความเสถียรของ Deep Q-learning ได้แก่ Double DQN และ Prioritized Experience Replay

Exercise 1: DQN กับ Experience Replay Exercise 2: Double-Ended Queue Exercise 3: Experience Replay Buffer Exercise 4: DQN กับ Experience Replay Exercise 5: อัลกอริทึม DQN แบบสมบูรณ์Exercise 6: Epsilon-greediness Exercise 7: Fixed Q-targets Exercise 8: การ implement อัลกอริทึม DQN แบบสมบูรณ์Exercise 9: Double DQN Exercise 10: Online network และ target network ใน DDQN Exercise 11: การเทรน Double DQN Exercise 12: Prioritized experience replay Exercise 13: บัฟเฟอร์ Prioritized Experience Replay Exercise 14: การสุ่มตัวอย่างจาก PER buffer Exercise 15: DQN ร่วมกับ Prioritized Experience Replay

เรียนรู้แนวคิดพื้นฐานของ policy gradient methods ใน DRL โดยเริ่มจาก policy gradient theorem ซึ่งเป็นรากฐานของวิธีการเหล่านี้ จากนั้นนำอัลกอริทึม REINFORCE มาใช้งาน ซึ่งเป็นแนวทางที่มีประสิทธิภาพในการเรียนรู้ policy บทนี้จะพาไปทำความรู้จักกับ Actor-Critic methods โดยเน้นที่อัลกอริทึม Advantage Actor-Critic (A2C) ที่ผสานจุดแข็งของทั้ง policy gradient และ value-based methods เพื่อเพิ่มประสิทธิภาพและความเสถียรในการเรียนรู้

Exercise 1: Policy Gradient เบื้องต้น Exercise 2: สถาปัตยกรรมของ Policy Network Exercise 3: การทำงานกับการแจกแจงแบบไม่ต่อเนื่อง Exercise 4: Policy Gradient และ REINFORCE Exercise 5: การเลือก action ใน REINFORCE Exercise 6: ฝึก REINFORCE algorithm Exercise 7: Advantage Actor-Critic Exercise 8: Critic network Exercise 9: การคำนวณ Actor Critic loss Exercise 10: การเทรนอัลกอริทึม A2C

สำรวจ Proximal Policy Optimization (PPO) เพื่อประสิทธิภาพ DRL ที่แข็งแกร่ง จากนั้นศึกษาการใช้ entropy bonus ใน PPO ซึ่งส่งเสริมการสำรวจโดยป้องกันไม่ให้ policy เข้าสู่แนวทางที่แน่นอนเร็วเกินไป รวมถึงเรียนรู้การอัปเดตแบบ batch ใน policy gradient methods และปิดท้ายด้วยการปรับ hyperparameter ด้วย Optuna เครื่องมือทรงพลังสำหรับเพิ่มประสิทธิภาพโมเดล DRL

Exercise 1: Proximal Policy Optimization Exercise 2: อัตราส่วนความน่าจะเป็นแบบ clipped Exercise 3: ฟังก์ชัน clipped surrogate objective Exercise 4: Entropy Bonus และ PPO Exercise 5: ทดลองเล่นกับ Entropy Exercise 6: การฝึก PPO algorithm Exercise 7: การอัปเดตแบบแบตช์ในวิธีการ Policy Gradient Exercise 8: มินิแบตช์และ DRL Exercise 9: A2C กับการอัปเดตแบบ batch Exercise 10: การปรับแต่ง Hyperparameter ด้วย Optuna Exercise 11: ไฮเปอร์พารามิเตอร์หรือไม่?Exercise 12: ลงมือใช้งาน Optuna Exercise 13: ยินดีด้วย!