เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การเทรนอัลกอริทึม A2C

ได้เวลาเทรน Lunar Lander ด้วยอัลกอริทึม A2C แล้ว! ตอนนี้มีส่วนประกอบทุกอย่างครบพร้อมแล้ว เหลือแค่นำมาประกอบเข้าด้วยกัน

โครงข่าย actor และ critic ถูกสร้างขึ้นแล้วในชื่อ actor และ critic รวมถึง optimizer ของทั้งคู่ ได้แก่ actor_optimizer และ critic_optimizer

ฟังก์ชัน select_action() จาก REINFORCE และฟังก์ชัน calculate_losses() จากแบบฝึกหัดก่อนหน้าก็พร้อมให้ใช้งานที่นี่เช่นกัน

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Reinforcement Learning ด้วย Python

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ให้ actor เลือก action โดยอิงจาก state ที่ได้รับ
  • คำนวณ loss สำหรับทั้ง actor และ critic

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        if done:
            break
        # Select the action
        ____
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        # Calculate the losses
        ____, ____ = ____(
            critic, action_log_prob, 
            reward, state, next_state, done)        
        actor_optimizer.zero_grad()
        actor_loss.backward()
        actor_optimizer.step()
        critic_optimizer.zero_grad()
        critic_loss.backward()
        critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
แก้ไขและรันโค้ด