ลูปการโต้ตอบของ RL

อย่างที่ทราบกันแล้วว่า RL เกี่ยวข้องกับเอเจนต์ที่ตัดสินใจในสภาพแวดล้อมเพื่อให้ได้รางวัลสะสมสูงสุด เอเจนต์ต้องค้นหาว่าการกระทำใดให้รางวัลมากที่สุดผ่านการโต้ตอบกับสภาพแวดล้อม

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning with Gymnasium ใน Python

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning with Gymnasium ใน Python

SkillTag.level.advancedSkillTag.label

4.8+

เริ่มคอร์สฟรี

เริ่มต้นสำรวจโลกของ Reinforcement Learning (RL) ด้วยการทำความเข้าใจแนวคิดพื้นฐาน บทบาท และการประยุกต์ใช้งาน เรียนรู้กรอบแนวคิดของ RL และปฏิสัมพันธ์ระหว่าง agent กับสภาพแวดล้อม รวมถึงการใช้ไลบรารี Gymnasium เพื่อสร้างสภาพแวดล้อม แสดงผล state และดำเนินการต่าง ๆ เพื่อสร้างรากฐานเชิงปฏิบัติในการทำงานกับ RL

Exercise 1: พื้นฐานของการเรียนรู้เสริมแรง Exercise 2: Reinforcement Learning คืออะไร?Exercise 3: RL เทียบกับสาขาย่อยอื่นของ ML Exercise 4: สถานการณ์ที่เหมาะสำหรับการนำ RL ไปใช้Exercise 5: การนำทางในกรอบการทำงาน RL Exercise 6: ลูปการโต้ตอบของ RL

แบบฝึกหัดปัจจุบัน

Exercise 7: งาน RL แบบ episodic และ continuous Exercise 8: การคำนวณ Discounted Return สำหรับกลยุทธ์ของ Agent Exercise 9: การโต้ตอบกับสภาพแวดล้อมใน Gymnasium Exercise 10: ตั้งค่า Mountain Car environment Exercise 11: การแสดงภาพสภาพแวดล้อม Mountain Car Exercise 12: การโต้ตอบกับสภาพแวดล้อม Frozen Lake

เจาะลึก RL ในด้าน model-based learning ทำความเข้าใจ Markov Decision Processes (MDPs) และองค์ประกอบสำคัญต่าง ๆ พัฒนาทักษะด้าน policy และ value function รวมถึงฝึกเพิ่มประสิทธิภาพ policy ด้วยเทคนิค policy iteration และ value iteration

Exercise 1: Markov Decision Processes Exercise 2: องค์ประกอบ MDP ของ Frozen Lake แบบกำหนดเอง Exercise 3: สำรวจ state space และ action space Exercise 4: ความน่าจะเป็นของการเปลี่ยนสถานะและรางวัล Exercise 5: นโยบายและฟังก์ชันมูลค่าของสถานะ Exercise 6: การกำหนด Deterministic Policy Exercise 7: การคำนวณ state-value สำหรับ policy Exercise 8: การเปรียบเทียบนโยบาย Exercise 9: ฟังก์ชันค่า-แอ็กชัน Exercise 10: การคำนวณ Q-value Exercise 11: การปรับปรุง Policy Exercise 12: Policy Iteration และ Value Iteration Exercise 13: การนำ Policy Iteration ไปใช้เพื่อหา Optimal Policy Exercise 14: การนำ Value Iteration ไปใช้งาน

ทำความรู้จักกับ Model-Free Learning ใน RL เริ่มจากพื้นฐานของ Monte Carlo methods และการนำ first-visit และ every-visit Monte Carlo prediction มาใช้งาน จากนั้นเข้าสู่โลกของ Temporal Difference Learning และ SARSA algorithm ก่อนจะดำดิ่งสู่ Q-Learning พร้อมวิเคราะห์การ convergence ในสภาพแวดล้อมที่ท้าทาย

Exercise 1: วิธีการ Monte Carlo Exercise 2: การสร้าง Episode สำหรับ Monte Carlo Methods Exercise 3: การนำ First-Visit Monte Carlo มาใช้งาน Exercise 4: การ implement Every-Visit Monte Carlo Exercise 5: การเรียนรู้แบบ Temporal Difference Exercise 6: การนำ SARSA update rule ไปใช้งาน Exercise 7: แก้ปัญหา Frozen Lake ขนาด 8x8 ด้วย SARSA Exercise 8: Q-Learning Exercise 9: การนำกฎการอัปเดตของ Q-learning ไปใช้Exercise 10: แก้ปัญหา Frozen Lake ขนาด 8x8 ด้วย Q-learning Exercise 11: ประเมิน policy บน Frozen Lake แบบลื่น

ศึกษากลยุทธ์ขั้นสูงใน Model-Free RL เพื่อยกระดับอัลกอริทึมการตัดสินใจ เรียนรู้ Expected SARSA สำหรับการอัปเดต policy ที่แม่นยำขึ้น และ Double Q-learning เพื่อลดปัญหาการประเมินค่าสูงเกินจริง สำรวจ Exploration-Exploitation Tradeoff พร้อมฝึกใช้กลยุทธ์ epsilon-greedy และ epsilon-decay สำหรับการเลือก action ที่เหมาะสม และรับมือกับ Multi-Armed Bandit Problem ด้วยกลยุทธ์การตัดสินใจภายใต้ความไม่แน่นอน

Exercise 1: Expected SARSA Exercise 2: กฎการอัปเดตของ Expected SARSA Exercise 3: การนำ Expected SARSA ไปใช้Exercise 4: Double Q-learning Exercise 5: การ implement กฎการอัปเดตของ Double Q-learning Exercise 6: การนำ Double Q-learning ไปใช้Exercise 7: การสร้างสมดุลระหว่างการสำรวจและการใช้ประโยชน์Exercise 8: การกำหนดฟังก์ชัน epsilon-greedy Exercise 9: แก้ปัญหา CliffWalking ด้วยกลยุทธ์ epsilon-greedy Exercise 10: แก้ปัญหา CliffWalking ด้วยกลยุทธ์ epsilon-greedy แบบลดค่าตามเวลา Exercise 11: ปัญหา Multi-Armed Bandit Exercise 12: การสร้าง Multi-Armed Bandit Exercise 13: การแก้ปัญหา multi-armed bandit Exercise 14: การประเมินการลู่เข้าในปัญหา Multi-Armed Bandit Exercise 15: ยินดีด้วย!