Implémenter la règle de mise à jour du Double Q-learning

Le Double Q-learning est une extension de l'algorithme de Q-learning qui aide à réduire la surestimation des valeurs d'action en maintenant et en mettant à jour deux tables Q distinctes. En découplant la sélection de l'action de son évaluation, le Double Q-learning fournit une estimation plus précise des valeurs Q. Cet exercice vous guide pour implémenter la règle de mise à jour du Double Q-learning. Une liste Q contenant deux tables Q a été générée.

La bibliothèque numpy a été importée sous np, et les valeurs gamma et alpha ont été préchargées. Les formules de mise à jour se trouvent ci-dessous :

Image showing the update rule of Q1.

Image showing the update rule of Q2.

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

Instructions de l’exercice

Décidez au hasard quelle table Q dans Q mettre à jour pour l'estimation de la valeur d'action en calculant son indice i.
Effectuez les étapes nécessaires pour mettre à jour Q[i].

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

Q = [np.random.rand(8,4), np.random.rand(8,4)] 
def update_q_tables(state, action, reward, next_state):
  	# Get the index of the table to update
    i = ____
    # Update Q[i]
    best_next_action = ____
    Q[i][state, action] = ____

Modifier et exécuter le code

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Plongez dans l'univers captivant du Reinforcement Learning (RL) en explorant ses concepts, ses rôles et ses applications fondamentaux. Parcourez le cadre du RL et découvrez l'interaction agent–environnement. Vous apprendrez aussi à utiliser la bibliothèque Gymnasium pour créer des environnements, visualiser des états et exécuter des actions, afin d'acquérir une base pratique en concepts et en applications du RL.

Exercise 1: Principes fondamentaux de l'apprentissage par renforcement Exercise 2: Qu'est-ce que l'apprentissage par renforcement?Exercise 3: RL vs. autres sous-domaines de ML Exercise 4: Scénarios d'application du RL Exercise 5: Parcourir le cadre de l'RL Exercise 6: Boucle d'interaction en RL Exercise 7: Tâches de RL épisodiques et continues Exercise 8: Calcul du rendement actualisé pour des stratégies d'agent Exercise 9: Interaction avec les environnements Gymnasium Exercise 10: Configurer un environnement Mountain Car Exercise 11: Visualiser l'environnement Mountain Car Exercise 12: Interagir avec l'environnement Frozen Lake

Approfondissez le RL en vous concentrant sur l'apprentissage fondé sur un modèle. Démêlez la complexité des processus de décision de Markov (MDP) et comprenez leurs composantes essentielles. Perfectionnez vos compétences en découvrant les politiques et les fonctions de valeur. Acquérez de l'expertise en optimisation de politiques grâce aux techniques d'itération de politique et d'itération de valeur.

Exercise 1: Processus décisionnels de Markov Exercise 2: Composantes MDP du lac gelé personnalisé Exercise 3: Explorer les espaces d'états et d'actions Exercise 4: Probabilités de transition et récompenses Exercise 5: Politiques et fonctions de valeur d'état Exercise 6: Définir une politique déterministe Exercise 7: Calculer les valeurs d'état pour une politique Exercise 8: Comparer des politiques Exercise 9: Fonctions de valeur d'action Exercise 10: Calcul des valeurs Q Exercise 11: Améliorer une politique Exercise 12: Itération de politique et itération de valeur Exercise 13: Appliquer l'itération de politique pour obtenir la politique optimale Exercise 14: Implémenter la value iteration

Partez à la découverte de l'univers dynamique de l'apprentissage sans modèle en RL. Faites connaissance avec les méthodes Monte Carlo fondamentales et appliquez les algorithmes de prédiction Monte Carlo à première visite et à chaque visite. Passez ensuite à l'apprentissage par différence temporelle en explorant l'algorithme SARSA. Enfin, plongez dans le Q-learning et analysez sa convergence dans des environnements difficiles.

Exercise 1: Méthodes de Monte-Carlo Exercise 2: Génération d'épisodes pour les méthodes de Monte-Carlo Exercise 3: Implémenter le Monte Carlo « first-visit »Exercise 4: Implémenter le Monte Carlo à chaque visite Exercise 5: Apprentissage par différence temporelle Exercise 6: Implémenter la règle de mise à jour SARSA Exercise 7: Résoudre Frozen Lake 8x8 avec SARSA Exercise 8: Q-learning Exercise 9: Mettre en œuvre la règle de mise à jour de Q-learning Exercise 10: Résoudre Frozen Lake 8x8 avec Q-learning Exercise 11: Évaluer une politique sur un lac glacé glissant

Explorez des stratégies avancées en RL sans modèle, axées sur l'amélioration des algorithmes de prise de décision. Découvrez Expected SARSA pour des mises à jour de politique plus précises et le Double Q-learning afin d'atténuer le biais de surestimation. Examinez le compromis exploration–exploitation et maîtrisez les stratégies epsilon-greedy et epsilon-decay pour une sélection d'actions optimale. Abordez le problème du bandit manchot et appliquez des stratégies pour résoudre des enjeux de décision en contexte d'incertitude.

Exercise 1: SARSA attendu Exercise 2: Règle de mise à jour Expected SARSA Exercise 3: Appliquer Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implémenter la règle de mise à jour du Double Q-learning

Exercice en cours

Exercise 6: Appliquer le Double Q-learning Exercise 7: Équilibrer exploration et exploitation Exercise 8: Définir la fonction epsilon-greedy Exercise 9: Résoudre CliffWalking avec la stratégie epsilon-greedy Exercise 10: Résoudre CliffWalking avec une stratégie epsilon-greedy à décroissance Exercise 11: Bandits à bras multiples Exercise 12: Créer un bandit à plusieurs bras Exercise 13: Résoudre un bandit à bras multiples Exercise 14: Évaluer la convergence dans un bandit manchot à plusieurs bras Exercise 15: Félicitations !