Échantillonner à partir du tampon PER

Avant de pouvoir utiliser la classe Prioritized Experience Buffer pour entraîner votre agent, vous devez encore implémenter la méthode .sample(). Cette méthode prend en argument la taille de l'échantillon à tirer et retourne les transitions échantillonnées sous forme de tensors, ainsi que leurs indices dans le tampon mémoire et leur poids d'importance.

Un tampon d'une capacité de 10 a été préchargé dans votre environnement pour que vous puissiez y puiser des échantillons.

Cette activité fait partie du cours

Deep Reinforcement Learning en Python

Instructions de l’exercice

Calculez la probabilité d'échantillonnage associée à chaque transition.
Tirez les indices correspondant aux transitions de l'échantillon; np.random.choice(a, s, p=p) prend un échantillon de taille s avec remise à partir du tableau a, selon le tableau de probabilités p.
Calculez le poids d'importance associé à chaque transition.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def sample(self, batch_size):
    priorities = np.array(self.priorities)
    # Calculate the sampling probabilities
    probabilities = ____ / np.sum(____)
    # Draw the indices for the sample
    indices = np.random.choice(____)
    # Calculate the importance weights
    weights = (1 / (len(self.memory) * ____)) ** ____
    weights /= np.max(weights)
    states, actions, rewards, next_states, dones = zip(*[self.memory[idx] for idx in indices])
    weights = [weights[idx] for idx in indices]
    states_tensor = torch.tensor(states, dtype=torch.float32)
    rewards_tensor = torch.tensor(rewards, dtype=torch.float32)
    next_states_tensor = torch.tensor(next_states, dtype=torch.float32)
    dones_tensor = torch.tensor(dones, dtype=torch.float32)
    weights_tensor = torch.tensor(weights, dtype=torch.float32)
    actions_tensor = torch.tensor(actions, dtype=torch.long).unsqueeze(1)
    return (states_tensor, actions_tensor, rewards_tensor, next_states_tensor,
            dones_tensor, indices, weights_tensor)

PrioritizedReplayBuffer.sample = sample
print("Sampled transitions:\n", buffer.sample(3))

Modifier et exécuter le code

Cette activité fait partie du cours

Deep Reinforcement Learning en Python

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Découvrez comment le Deep Reinforcement Learning améliore le Reinforcement Learning traditionnel tout en étudiant et en implémentant votre premier algorithme de Deep Q Learning.

Exercise 1: Introduction à l'apprentissage par renforcement profond Exercise 2: Configuration de l'environnement et du réseau de neurones Exercise 3: Boucle d'entraînement DRL Exercise 4: Introduction au deep Q learning Exercise 5: Deep learning et DQN Exercise 6: L'architecture du réseau Q Exercise 7: Instancier le réseau Q Exercise 8: L'algorithme DQN minimaliste Exercise 9: Sélection d'action DQN minimaliste Exercise 10: Fonction de perte DQN minimale Exercise 11: Entraîner le DQN minimaliste

Plongez dans le Deep Q-learning en implémentant l'algorithme DQN original, avec Experience Replay, epsilon-greediness et fixed Q-targets. Au-delà de DQN, vous explorerez ensuite deux prolongements fascinants qui améliorent la performance et la stabilité du Deep Q-learning : Double DQN et Prioritized Experience Replay.

Exercise 1: DQN avec relecture d'expérience Exercise 2: La file à deux extrémités (deque)Exercise 3: Mémoire tampon d'expérience (experience replay)Exercise 4: DQN avec mémoire de relecture (Experience Replay)Exercise 5: L'algorithme DQN complet Exercise 6: Politique epsilon-greedy Exercise 7: Cibles Q figées Exercise 8: Implémenter l'algorithme DQN complet Exercise 9: Double DQN Exercise 10: Réseau en ligne et réseau cible dans le DDQN Exercise 11: Entraîner le double DQN Exercise 12: Rejeu d'expérience priorisé Exercise 13: Mémoire tampon de relecture d'expériences priorisée Exercise 14: Échantillonner à partir du tampon PER

Exercice en cours

Exercise 15: DQN avec rejouage d'expériences priorisé

Apprenez les concepts fondamentaux des méthodes de policy gradient utilisées en DRL. Vous commencerez par le théorème du policy gradient, qui sert de base à ces méthodes. Ensuite, vous implémenterez l'algorithme REINFORCE, une approche puissante pour apprendre des politiques. Le chapitre vous guidera ensuite à travers les méthodes Actor-Critic, en mettant l'accent sur l'algorithme Advantage Actor-Critic (A2C), qui combine les forces des méthodes de policy gradient et des méthodes fondées sur la valeur afin d'améliorer l'efficacité et la stabilité de l'apprentissage.

Exercise 1: Introduction aux gradients de politique Exercise 2: L'architecture du réseau de stratégie Exercise 3: Travailler avec des distributions discrètes Exercise 4: Gradient de politique et REINFORCE Exercise 5: Sélection d'action dans REINFORCE Exercise 6: Entraîner l'algorithme REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Réseau du critique Exercise 9: Calculs des pertes Actor-Critic Exercise 10: Entraîner l'algorithme A2C

Explorez Proximal Policy Optimization (PPO) pour obtenir des performances robustes en DRL. Vous examinerez ensuite l'utilisation d'un bonus d'entropie dans PPO, qui favorise l'exploration en évitant une convergence prématurée vers des politiques déterministes. Vous apprendrez aussi les mises à jour par lot dans les méthodes de policy gradient. Enfin, vous verrez l'optimisation des hyperparamètres avec Optuna, un outil puissant pour optimiser la performance de vos modèles DRL.

Exercise 1: Optimisation de politique proximale Exercise 2: Le ratio de probabilité tronqué Exercise 3: La fonction objectif substitut tronquée Exercise 4: Prime d'entropie et PPO Exercise 5: Terrain de jeu de l'entropie Exercise 6: Entraîner l'algorithme PPO Exercise 7: Mises à jour par lots dans les méthodes de gradient de politique Exercise 8: Minibatch et DRL Exercise 9: A2C avec mises à jour par lot Exercise 10: Optimisation des hyperparamètres avec Optuna Exercise 11: Hyperparamètre ou pas?Exercise 12: Mise en pratique avec Optuna Exercise 13: Félicitations !