CommencezCommencez gratuitement

Implémenter l'algorithme DQN complet

Le moment est enfin arrivé ! Tous les prérequis sont en place; vous allez maintenant implémenter l'algorithme DQN complet et l'utiliser pour entraîner un agent Lunar Lander. Concrètement, votre algorithme utilisera non seulement l'Experience Replay, mais aussi l'exploration epsilon-greedy avec décroissance et des cibles Q figées (Fixed Q-Targets).

La fonction select_action() qui implémente l'epsilon-greedy avec décroissance est à votre disposition, tout comme la fonction update_target_network() de l'exercice précédent. Il ne reste plus qu'à intégrer ces fonctions dans la boucle d'entraînement du DQN et à vous assurer d'utiliser correctement le réseau cible dans le calcul de la perte.

Vous devez conserver un nouveau compteur d'étapes, total_steps, pour faire décroître la valeur de \(\varepsilon\) au fil du temps. Cette variable est initialisée pour vous à 0.

Cette activité fait partie du cours

Deep Reinforcement Learning en Python

Voir le cours

Instructions de l’exercice

  • Utilisez select_action() pour implémenter l'epsilon-greedy avec décroissance et sélectionner l'action de l'agent; vous devrez utiliser total_steps, le cumul des étapes à travers les épisodes.
  • Avant de calculer la cible TD, désactivez le suivi des gradients.
  • Après avoir obtenu l'état suivant, récupérez les valeurs Q du prochain état.
  • Mettez à jour le réseau cible à la fin de chaque étape.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

for episode in range(10):
    state, info = env.reset()
    done = False
    step = 0
    episode_reward = 0
    while not done:
        step += 1
        total_steps += 1
        q_values = online_network(state)
        # Select the action with epsilon greediness
        action = ____(____, ____, start=.9, end=.05, decay=1000)
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        replay_buffer.push(state, action, reward, next_state, done)        
        if len(replay_buffer) >= batch_size:
            states, actions, rewards, next_states, dones = replay_buffer.sample(64)
            q_values = online_network(states).gather(1, actions).squeeze(1)
            # Ensure gradients are not tracked
            with ____:
                # Obtain the next state Q-values
                next_q_values = ____(next_states).amax(1)
                target_q_values = rewards + gamma * next_q_values * (1-dones)
            loss = nn.MSELoss()(q_values, target_q_values)
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()   
            # Update the target network weights
            ____(____, ____, tau=.005)
        state = next_state
        episode_reward += reward    
    describe_episode(episode, reward, episode_reward, step)
Modifier et exécuter le code