A2C z aktualizacjami batchowymi
W tym kursie korzystałeś dotąd z różnych wariantów tej samej podstawowej pętli treningowej DRL. W praktyce tę strukturę można rozszerzać na wiele sposobów – na przykład wprowadzając aktualizacje batchowe.
Teraz wracamy do pętli treningowej A2C w środowisku Lunar Lander, ale zamiast aktualizować sieci po każdym kroku, poczekasz na 10 kroków, a dopiero potem uruchomisz krok gradientowy. Uśredniając straty z 10 kroków, uzyskasz nieco bardziej stabilne aktualizacje.
To ćwiczenie jest częścią kursu
Głębokie uczenie ze wzmocnieniem w Pythonie
Instrukcje do ćwiczenia
- Dołącz straty z każdego kroku do tensorów strat dla bieżącego batcha.
- Oblicz straty dla całego batcha.
- Ponownie zainicjalizuj tensory strat.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
state, info = env.reset()
done = False
episode_reward = 0
step = 0
while not done:
step += 1
action, action_log_prob = select_action(actor, state)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
episode_reward += reward
actor_loss, critic_loss = calculate_losses(
critic, action_log_prob,
reward, state, next_state, done)
# Append to the loss tensors
actor_losses = torch.cat((____, ____))
critic_losses = torch.cat((____, ____))
if len(actor_losses) >= 10:
# Calculate the batch losses
actor_loss_batch = actor_losses.____
critic_loss_batch = critic_losses.____
actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
# Reinitialize the loss tensors
actor_losses = ____
critic_losses = ____
state = next_state
describe_episode(episode, reward, episode_reward, step)