เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

สำรวจ state space และ action space

สภาพแวดล้อม Cliff Walking จำลองตัวแทนที่ต้องเดินข้ามโลกแบบกริดจากจุดเริ่มต้นไปยังเป้าหมาย โดยต้องหลีกเลี่ยงการตกหน้าผา หากตัวแทนเดินไปยังตำแหน่งหน้าผา จะถูกส่งกลับไปยังจุดเริ่มต้น การเล่นดำเนินต่อไปจนกว่าจะถึงเป้าหมาย ซึ่งจะสิ้นสุด episode โดยในแบบฝึกหัดนี้ให้สำรวจ state space และ action space ของสภาพแวดล้อมนี้

Image showing an animation for the cliff walking environment.

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning with Gymnasium ใน Python

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้าง instance ของสภาพแวดล้อม Cliff Walking โดยใช้ environment ID CliffWalking
  • คำนวณขนาดของ action space และเก็บไว้ในตัวแปร num_actions
  • คำนวณขนาดของ state space และเก็บไว้ในตัวแปร num_states

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create the Cliff Walking environment
env = ____

# Compute the size of the action space
num_actions = ____

# Compute the size of the state space
num_states = ____

print("Number of actions:", num_actions)
print("Number of states:", num_states)
แก้ไขและรันโค้ด