開始使用免費開始

A2C 的批次更新

到目前為止，在本課程中，你一直在使用同一個核心 DRL 訓練迴圈的各種變形。實務上，這個結構有許多延伸方式，例如支援批次更新。

你現在要在 Lunar Lander 環境中重新檢視 A2C 的訓練迴圈，但這次不是每一步都更新網路，而是等待 10 步之後再執行一次梯度下降。將 10 步的損失取平均後再更新，能帶來稍微更穩定的學習。

本練習屬於課程

Python 的深度強化學習

檢視課程

練習說明

  • 將每一步的損失附加到目前批次的損失張量中。
  • 計算該批次的損失。
  • 重新初始化損失張量。

動手互動練習

試著完成這個範例程式碼，體驗一下這個練習。

actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        action, action_log_prob = select_action(actor, state)                
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        actor_loss, critic_loss = calculate_losses(
            critic, action_log_prob, 
            reward, state, next_state, done)
        # Append to the loss tensors
        actor_losses = torch.cat((____, ____))
        critic_losses = torch.cat((____, ____))
        if len(actor_losses) >= 10:
            # Calculate the batch losses
            actor_loss_batch = actor_losses.____
            critic_loss_batch = critic_losses.____
            actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
            critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
            # Reinitialize the loss tensors
            actor_losses = ____
            critic_losses = ____
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
編輯並執行程式碼