訓練 PPO 演算法
你現在要使用熟悉的 A2C 訓練迴圈來訓練 PPO 演算法。
這個訓練迴圈沒有充分運用「裁剪替代目標函式」（clipped surrogate objective），因此效能不會比 A2C 好太多；它主要用來示範你所學到的概念：裁剪替代目標與熵獎勵（entropy bonus）。
本練習屬於課程
Python 的深度強化學習
練習說明
- 從 actor loss 中移除熵獎勵，並將參數 \(c_{entropy}\) 設為 0.01。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
for episode in range(10):
state, info = env.reset()
done = False
episode_reward = 0
step = 0
while not done:
step += 1
action, action_log_prob, entropy = select_action(actor, state)
next_state, reward, terminated, truncated, _ = env.step(action)
episode_reward += reward
done = terminated or truncated
actor_loss, critic_loss = calculate_losses(critic, action_log_prob, action_log_prob,
reward, state, next_state, done)
# Remove the entropy bonus from the actor loss
actor_loss -= ____ * ____
actor_optimizer.zero_grad(); actor_loss.backward(); actor_optimizer.step()
critic_optimizer.zero_grad(); critic_loss.backward(); critic_optimizer.step()
state = next_state
describe_episode(episode, reward, episode_reward, step)