Začněte nyníZačněte zdarma

A2C s dávkovými aktualizacemi

V tomto kurzu jsi zatím pracoval/a s různými variantami stejné základní tréninkové smyčky DRL. V praxi existuje řada způsobů, jak tuto strukturu rozšířit – například o dávkové aktualizace.

Vrátíme se k tréninkové smyčce A2C v prostředí Lunar Lander, ale tentokrát nebudeme sítě aktualizovat po každém kroku. Místo toho počkáme, dokud neproběhne 10 kroků, a teprve pak spustíme krok gradientního sestupu. Průměrováním ztrát přes 10 kroků dosáhneme o něco stabilnějších aktualizací.

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Přidej ztráty z každého kroku do tenzorů ztrát pro aktuální dávku.
  • Vypočítej ztráty pro celou dávku.
  • Znovu inicializuj tenzory ztrát.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        action, action_log_prob = select_action(actor, state)                
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        actor_loss, critic_loss = calculate_losses(
            critic, action_log_prob, 
            reward, state, next_state, done)
        # Append to the loss tensors
        actor_losses = torch.cat((____, ____))
        critic_losses = torch.cat((____, ____))
        if len(actor_losses) >= 10:
            # Calculate the batch losses
            actor_loss_batch = actor_losses.____
            critic_loss_batch = critic_losses.____
            actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
            critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
            # Reinitialize the loss tensors
            actor_losses = ____
            critic_losses = ____
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
Upravit a spustit kód