ÎncepețiÎncepe gratuit

Antrenarea algoritmului A2C

E momentul să antrenăm Lunar Lander folosind algoritmul A2C! Ai toate componentele necesare – acum trebuie doar să le pui laolaltă.

Rețelele actor și critic au fost instanțiate ca actor și critic, la fel și optimizatorii lor actor_optimizer și critic_optimizer.

Funcția select_action() din REINFORCE și funcția calculate_losses() din exercițiul anterior sunt disponibile și aici.

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

Vezi cursul

Instrucțiuni pentru exercițiu

  • Lasă actorul să selecteze acțiunea pe baza stării curente.
  • Calculează pierderile atât pentru actor, cât și pentru critic.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

for episode in range(10):
    state, info = env.reset()
    done = False
    episode_reward = 0
    step = 0
    while not done:
        step += 1
        if done:
            break
        # Select the action
        ____
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        episode_reward += reward
        # Calculate the losses
        ____, ____ = ____(
            critic, action_log_prob, 
            reward, state, next_state, done)        
        actor_optimizer.zero_grad()
        actor_loss.backward()
        actor_optimizer.step()
        critic_optimizer.zero_grad()
        critic_loss.backward()
        critic_optimizer.step()
        state = next_state
    describe_episode(episode, reward, episode_reward, step)
Editează și rulează codul