Actor-Critic 的損失計算
在用 A2C 訓練你的代理人之前，最後一步是撰寫 calculate_losses() 函式，回傳兩個網路各自的損失。
做為參考，下圖分別為 Actor 與 Critic 的損失函式表示式：
本練習屬於課程
Python 的深度強化學習
練習說明
- 計算 TD 目標。
- 計算 Actor 網路的損失。
- 計算 Critic 網路的損失。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
def calculate_losses(critic_network, action_log_prob,
reward, state, next_state, done):
value = critic_network(state)
next_value = critic_network(next_state)
# Calculate the TD target
td_target = (____ + gamma * ____ * (1-done))
td_error = td_target - value
# Calculate the actor loss
actor_loss = -____ * ____.detach()
# Calculate the critic loss
critic_loss = ____
return actor_loss, critic_loss
actor_loss, critic_loss = calculate_losses(
critic_network, action_log_prob,
reward, state, next_state, done
)
print(round(actor_loss.item(), 2), round(critic_loss.item(), 2))