Résoudre Frozen Lake 8x8 avec SARSA

Dans cet exercice, vous allez appliquer l'algorithme SARSA, en intégrant la fonction update_q_table() que vous avez déjà implantée, pour apprendre une politique optimale dans l'environnement Frozen Lake 8x8. Cet environnement est identique au classique 4x4, à la seule différence qu'il est plus grand. Vous utiliserez l'algorithme SARSA pour améliorer itérativement la politique de l'agent en fonction des récompenses reçues de l'environnement.

Une table Q Q a été initialisée et préchargée pour vous, ainsi que la fonction update_q_table() de l'exercice précédent.

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

Instructions de l’exercice

Pour chaque épisode du processus d'entraînement, exécutez l'action choisie.
Choisissez next_action au hasard.
Mettez à jour la table Q pour le state et l'action donnés.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

for episode in range(num_episodes):
    state, info = env.reset()
    action = env.action_space.sample()
    terminated = False
    while not terminated:
      	# Execute the action
        next_state, reward, terminated, truncated, info = ____
        # Choose the next action randomly
        next_action = ____
        # Update the Q-table
        ____
        state, action = next_state, next_action   
render_policy(get_policy())

Modifier et exécuter le code

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Plongez dans l'univers captivant du Reinforcement Learning (RL) en explorant ses concepts, ses rôles et ses applications fondamentaux. Parcourez le cadre du RL et découvrez l'interaction agent–environnement. Vous apprendrez aussi à utiliser la bibliothèque Gymnasium pour créer des environnements, visualiser des états et exécuter des actions, afin d'acquérir une base pratique en concepts et en applications du RL.

Exercise 1: Principes fondamentaux de l'apprentissage par renforcement Exercise 2: Qu'est-ce que l'apprentissage par renforcement?Exercise 3: RL vs. autres sous-domaines de ML Exercise 4: Scénarios d'application du RL Exercise 5: Parcourir le cadre de l'RL Exercise 6: Boucle d'interaction en RL Exercise 7: Tâches de RL épisodiques et continues Exercise 8: Calcul du rendement actualisé pour des stratégies d'agent Exercise 9: Interaction avec les environnements Gymnasium Exercise 10: Configurer un environnement Mountain Car Exercise 11: Visualiser l'environnement Mountain Car Exercise 12: Interagir avec l'environnement Frozen Lake

Approfondissez le RL en vous concentrant sur l'apprentissage fondé sur un modèle. Démêlez la complexité des processus de décision de Markov (MDP) et comprenez leurs composantes essentielles. Perfectionnez vos compétences en découvrant les politiques et les fonctions de valeur. Acquérez de l'expertise en optimisation de politiques grâce aux techniques d'itération de politique et d'itération de valeur.

Exercise 1: Processus décisionnels de Markov Exercise 2: Composantes MDP du lac gelé personnalisé Exercise 3: Explorer les espaces d'états et d'actions Exercise 4: Probabilités de transition et récompenses Exercise 5: Politiques et fonctions de valeur d'état Exercise 6: Définir une politique déterministe Exercise 7: Calculer les valeurs d'état pour une politique Exercise 8: Comparer des politiques Exercise 9: Fonctions de valeur d'action Exercise 10: Calcul des valeurs Q Exercise 11: Améliorer une politique Exercise 12: Itération de politique et itération de valeur Exercise 13: Appliquer l'itération de politique pour obtenir la politique optimale Exercise 14: Implémenter la value iteration

Partez à la découverte de l'univers dynamique de l'apprentissage sans modèle en RL. Faites connaissance avec les méthodes Monte Carlo fondamentales et appliquez les algorithmes de prédiction Monte Carlo à première visite et à chaque visite. Passez ensuite à l'apprentissage par différence temporelle en explorant l'algorithme SARSA. Enfin, plongez dans le Q-learning et analysez sa convergence dans des environnements difficiles.

Exercise 1: Méthodes de Monte-Carlo Exercise 2: Génération d'épisodes pour les méthodes de Monte-Carlo Exercise 3: Implémenter le Monte Carlo « first-visit »Exercise 4: Implémenter le Monte Carlo à chaque visite Exercise 5: Apprentissage par différence temporelle Exercise 6: Implémenter la règle de mise à jour SARSA Exercise 7: Résoudre Frozen Lake 8x8 avec SARSA

Exercice en cours

Exercise 8: Q-learning Exercise 9: Mettre en œuvre la règle de mise à jour de Q-learning Exercise 10: Résoudre Frozen Lake 8x8 avec Q-learning Exercise 11: Évaluer une politique sur un lac glacé glissant

Explorez des stratégies avancées en RL sans modèle, axées sur l'amélioration des algorithmes de prise de décision. Découvrez Expected SARSA pour des mises à jour de politique plus précises et le Double Q-learning afin d'atténuer le biais de surestimation. Examinez le compromis exploration–exploitation et maîtrisez les stratégies epsilon-greedy et epsilon-decay pour une sélection d'actions optimale. Abordez le problème du bandit manchot et appliquez des stratégies pour résoudre des enjeux de décision en contexte d'incertitude.

Exercise 1: SARSA attendu Exercise 2: Règle de mise à jour Expected SARSA Exercise 3: Appliquer Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implémenter la règle de mise à jour du Double Q-learning Exercise 6: Appliquer le Double Q-learning Exercise 7: Équilibrer exploration et exploitation Exercise 8: Définir la fonction epsilon-greedy Exercise 9: Résoudre CliffWalking avec la stratégie epsilon-greedy Exercise 10: Résoudre CliffWalking avec une stratégie epsilon-greedy à décroissance Exercise 11: Bandits à bras multiples Exercise 12: Créer un bandit à plusieurs bras Exercise 13: Résoudre un bandit à bras multiples Exercise 14: Évaluer la convergence dans un bandit manchot à plusieurs bras Exercise 15: Félicitations !