เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การคำนวณ Actor Critic loss

ก่อนที่จะฝึก agent ด้วย A2C ได้ ให้เขียนฟังก์ชัน calculate_losses() ที่คืนค่า loss ของทั้งสองเครือข่าย

สำหรับข้อมูลอ้างอิง นี่คือสูตรของฟังก์ชัน actor loss และ critic loss ตามลำดับ:

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Reinforcement Learning ด้วย Python

ดูคอร์ส

คำแนะนำการฝึกหัด

  • คำนวณ TD target
  • คำนวณ loss สำหรับ Actor network
  • คำนวณ loss สำหรับ Critic network

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

def calculate_losses(critic_network, action_log_prob, 
                     reward, state, next_state, done):
    value = critic_network(state)
    next_value = critic_network(next_state)
    # Calculate the TD target
    td_target = (____ + gamma * ____ * (1-done))
    td_error = td_target - value
    # Calculate the actor loss
    actor_loss = -____ * ____.detach()
    # Calculate the critic loss
    critic_loss = ____
    return actor_loss, critic_loss
  
actor_loss, critic_loss = calculate_losses(
        critic_network, action_log_prob, 
        reward, state, next_state, done
)
print(round(actor_loss.item(), 2), round(critic_loss.item(), 2))
แก้ไขและรันโค้ด