Kom igångKom igång gratis

Träna A2C-algoritmen

Dags att träna vår Lunar Lander med A2C-algoritmen! Du har alla byggstenar på plats – nu gäller det att sätta ihop dem.

Aktörs- och kritiknätverken har instansierats som actor och critic, liksom deras optimerare actor_optimizer och critic_optimizer.

Din REINFORCE-funktion select_action() och funktionen calculate_losses() från föregående övning finns också tillgängliga här.

Den här övningen är en del av kursen

Djup förstärkningsinlärning i Python

Visa kurs

Övningsinstruktioner

  • Låt aktören välja åtgärd utifrån det aktuella tillståndet.
  • Beräkna förlusterna för både aktören och kritikern.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        if done:
            break
        # Select the action
        ____
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        # Calculate the losses
        ____, ____ = ____(
            critic, action_log_prob, 
            reward, state, next_state, done)        
        actor_optimizer.zero_grad()
        actor_loss.backward()
        actor_optimizer.step()
        critic_optimizer.zero_grad()
        critic_loss.backward()
        critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
Redigera och kör kod