องค์ประกอบ MDP ของ Frozen Lake แบบกำหนดเอง

สภาพแวดล้อม grid world ที่กำหนดให้นี้เป็นรูปแบบหนึ่งของสภาพแวดล้อม Frozen Lake ซึ่ง agent ต้องนำทางไปยังเป้าหมายโดยหลีกเลี่ยงหลุม ให้วิเคราะห์สภาพแวดล้อมนี้และจัดกรอบเป็น MDP โดยการตอบคำถามต่อไปนี้

สามารถตอบได้โดยการสังเกตสภาพแวดล้อมด้วยสายตา หรือใช้ตัวแปร env ที่โหลดไว้ให้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning with Gymnasium ใน Python

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning with Gymnasium ใน Python

SkillTag.level.advancedSkillTag.label

4.8+

เริ่มคอร์สฟรี

เริ่มต้นสำรวจโลกของ Reinforcement Learning (RL) ด้วยการทำความเข้าใจแนวคิดพื้นฐาน บทบาท และการประยุกต์ใช้งาน เรียนรู้กรอบแนวคิดของ RL และปฏิสัมพันธ์ระหว่าง agent กับสภาพแวดล้อม รวมถึงการใช้ไลบรารี Gymnasium เพื่อสร้างสภาพแวดล้อม แสดงผล state และดำเนินการต่าง ๆ เพื่อสร้างรากฐานเชิงปฏิบัติในการทำงานกับ RL

Exercise 1: พื้นฐานของการเรียนรู้เสริมแรง Exercise 2: Reinforcement Learning คืออะไร?Exercise 3: RL เทียบกับสาขาย่อยอื่นของ ML Exercise 4: สถานการณ์ที่เหมาะสำหรับการนำ RL ไปใช้Exercise 5: การนำทางในกรอบการทำงาน RL Exercise 6: ลูปการโต้ตอบของ RL Exercise 7: งาน RL แบบ episodic และ continuous Exercise 8: การคำนวณ Discounted Return สำหรับกลยุทธ์ของ Agent Exercise 9: การโต้ตอบกับสภาพแวดล้อมใน Gymnasium Exercise 10: ตั้งค่า Mountain Car environment Exercise 11: การแสดงภาพสภาพแวดล้อม Mountain Car Exercise 12: การโต้ตอบกับสภาพแวดล้อม Frozen Lake

เจาะลึก RL ในด้าน model-based learning ทำความเข้าใจ Markov Decision Processes (MDPs) และองค์ประกอบสำคัญต่าง ๆ พัฒนาทักษะด้าน policy และ value function รวมถึงฝึกเพิ่มประสิทธิภาพ policy ด้วยเทคนิค policy iteration และ value iteration

Exercise 1: Markov Decision Processes Exercise 2: องค์ประกอบ MDP ของ Frozen Lake แบบกำหนดเอง

แบบฝึกหัดปัจจุบัน

Exercise 3: สำรวจ state space และ action space Exercise 4: ความน่าจะเป็นของการเปลี่ยนสถานะและรางวัล Exercise 5: นโยบายและฟังก์ชันมูลค่าของสถานะ Exercise 6: การกำหนด Deterministic Policy Exercise 7: การคำนวณ state-value สำหรับ policy Exercise 8: การเปรียบเทียบนโยบาย Exercise 9: ฟังก์ชันค่า-แอ็กชัน Exercise 10: การคำนวณ Q-value Exercise 11: การปรับปรุง Policy Exercise 12: Policy Iteration และ Value Iteration Exercise 13: การนำ Policy Iteration ไปใช้เพื่อหา Optimal Policy Exercise 14: การนำ Value Iteration ไปใช้งาน

ทำความรู้จักกับ Model-Free Learning ใน RL เริ่มจากพื้นฐานของ Monte Carlo methods และการนำ first-visit และ every-visit Monte Carlo prediction มาใช้งาน จากนั้นเข้าสู่โลกของ Temporal Difference Learning และ SARSA algorithm ก่อนจะดำดิ่งสู่ Q-Learning พร้อมวิเคราะห์การ convergence ในสภาพแวดล้อมที่ท้าทาย

Exercise 1: วิธีการ Monte Carlo Exercise 2: การสร้าง Episode สำหรับ Monte Carlo Methods Exercise 3: การนำ First-Visit Monte Carlo มาใช้งาน Exercise 4: การ implement Every-Visit Monte Carlo Exercise 5: การเรียนรู้แบบ Temporal Difference Exercise 6: การนำ SARSA update rule ไปใช้งาน Exercise 7: แก้ปัญหา Frozen Lake ขนาด 8x8 ด้วย SARSA Exercise 8: Q-Learning Exercise 9: การนำกฎการอัปเดตของ Q-learning ไปใช้Exercise 10: แก้ปัญหา Frozen Lake ขนาด 8x8 ด้วย Q-learning Exercise 11: ประเมิน policy บน Frozen Lake แบบลื่น

ศึกษากลยุทธ์ขั้นสูงใน Model-Free RL เพื่อยกระดับอัลกอริทึมการตัดสินใจ เรียนรู้ Expected SARSA สำหรับการอัปเดต policy ที่แม่นยำขึ้น และ Double Q-learning เพื่อลดปัญหาการประเมินค่าสูงเกินจริง สำรวจ Exploration-Exploitation Tradeoff พร้อมฝึกใช้กลยุทธ์ epsilon-greedy และ epsilon-decay สำหรับการเลือก action ที่เหมาะสม และรับมือกับ Multi-Armed Bandit Problem ด้วยกลยุทธ์การตัดสินใจภายใต้ความไม่แน่นอน

Exercise 1: Expected SARSA Exercise 2: กฎการอัปเดตของ Expected SARSA Exercise 3: การนำ Expected SARSA ไปใช้Exercise 4: Double Q-learning Exercise 5: การ implement กฎการอัปเดตของ Double Q-learning Exercise 6: การนำ Double Q-learning ไปใช้Exercise 7: การสร้างสมดุลระหว่างการสำรวจและการใช้ประโยชน์Exercise 8: การกำหนดฟังก์ชัน epsilon-greedy Exercise 9: แก้ปัญหา CliffWalking ด้วยกลยุทธ์ epsilon-greedy Exercise 10: แก้ปัญหา CliffWalking ด้วยกลยุทธ์ epsilon-greedy แบบลดค่าตามเวลา Exercise 11: ปัญหา Multi-Armed Bandit Exercise 12: การสร้าง Multi-Armed Bandit Exercise 13: การแก้ปัญหา multi-armed bandit Exercise 14: การประเมินการลู่เข้าในปัญหา Multi-Armed Bandit Exercise 15: ยินดีด้วย!