带批量更新的 A2C
到目前为止，您一直在围绕相同的 DRL 核心训练循环进行变体实现。在实践中，这一结构可以通过多种方式扩展，例如支持批量更新。
接下来，您将在 Lunar Lander 环境中重新审视 A2C 训练循环。不过，这次不会在每一步都更新网络，而是等待经过 10 步后再执行一次梯度下降。通过对 10 步的损失取平均，您可以获得更稳定的更新。
本练习是课程的一部分
Python 中的深度强化学习
练习说明
- 将每一步的损失追加到当前批次的损失张量中。
- 计算批量损失。
- 重新初始化损失张量。
交互式实操练习
通过完成这段示例代码来试试这个练习。
actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
state, info = env.reset()
done = False
episode_reward = 0
step = 0
while not done:
step += 1
action, action_log_prob = select_action(actor, state)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
episode_reward += reward
actor_loss, critic_loss = calculate_losses(
critic, action_log_prob,
reward, state, next_state, done)
# Append to the loss tensors
actor_losses = torch.cat((____, ____))
critic_losses = torch.cat((____, ____))
if len(actor_losses) >= 10:
# Calculate the batch losses
actor_loss_batch = actor_losses.____
critic_loss_batch = critic_losses.____
actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
# Reinitialize the loss tensors
actor_losses = ____
critic_losses = ____
state = next_state
describe_episode(episode, reward, episode_reward, step)