バッチ更新付きのA2C
これまで本コースでは、同じコアとなるDRLの学習ループのバリエーションを使ってきました。実務では、この構造を拡張する方法がいくつもあり、たとえばバッチ更新に対応させることができます。
ここではLunar Lander環境でA2Cの学習ループを再度扱いますが、毎ステップでネットワークを更新するのではなく、10ステップ経過するまで待ってから勾配降下を実行します。10ステップ分の損失を平均することで、更新がやや安定します。
この演習はコースの一部です
Pythonで学ぶDeep Reinforcement Learning
演習の手順
- 各ステップの損失を、現在のバッチ用の損失テンソルに追加します。
- バッチ損失を計算します。
- 損失テンソルを再初期化します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
state, info = env.reset()
done = False
episode_reward = 0
step = 0
while not done:
step += 1
action, action_log_prob = select_action(actor, state)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
episode_reward += reward
actor_loss, critic_loss = calculate_losses(
critic, action_log_prob,
reward, state, next_state, done)
# Append to the loss tensors
actor_losses = torch.cat((____, ____))
critic_losses = torch.cat((____, ____))
if len(actor_losses) >= 10:
# Calculate the batch losses
actor_loss_batch = actor_losses.____
critic_loss_batch = critic_losses.____
actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
# Reinitialize the loss tensors
actor_losses = ____
critic_losses = ____
state = next_state
describe_episode(episode, reward, episode_reward, step)