Explorer les espaces d'états et d'actions

L'environnement Cliff Walking met en scène un agent qui traverse une grille, du point de départ jusqu'à l'objectif, tout en évitant de tomber de la falaise. Si le joueur se déplace vers une case « falaise », il revient au point de départ. Le joueur effectue des déplacements jusqu'à atteindre l'objectif, ce qui met fin à l'épisode. Votre tâche est d'examiner les espaces d'états et d'actions de cet environnement.

Image showing an animation for the cliff walking environment.

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

Instructions de l’exercice

Créez une instance d'environnement pour Cliff Walking avec l'identifiant d'environnement CliffWalking.
Calculez la taille de l'espace d'actions et stockez-la dans num_actions.
Calculez la taille de l'espace d'états et stockez-la dans num_states.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create the Cliff Walking environment
env = ____

# Compute the size of the action space
num_actions = ____

# Compute the size of the state space
num_states = ____

print("Number of actions:", num_actions)
print("Number of states:", num_states)

Modifier et exécuter le code

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Plongez dans l'univers captivant du Reinforcement Learning (RL) en explorant ses concepts, ses rôles et ses applications fondamentaux. Parcourez le cadre du RL et découvrez l'interaction agent–environnement. Vous apprendrez aussi à utiliser la bibliothèque Gymnasium pour créer des environnements, visualiser des états et exécuter des actions, afin d'acquérir une base pratique en concepts et en applications du RL.

Exercise 1: Principes fondamentaux de l'apprentissage par renforcement Exercise 2: Qu'est-ce que l'apprentissage par renforcement?Exercise 3: RL vs. autres sous-domaines de ML Exercise 4: Scénarios d'application du RL Exercise 5: Parcourir le cadre de l'RL Exercise 6: Boucle d'interaction en RL Exercise 7: Tâches de RL épisodiques et continues Exercise 8: Calcul du rendement actualisé pour des stratégies d'agent Exercise 9: Interaction avec les environnements Gymnasium Exercise 10: Configurer un environnement Mountain Car Exercise 11: Visualiser l'environnement Mountain Car Exercise 12: Interagir avec l'environnement Frozen Lake

Approfondissez le RL en vous concentrant sur l'apprentissage fondé sur un modèle. Démêlez la complexité des processus de décision de Markov (MDP) et comprenez leurs composantes essentielles. Perfectionnez vos compétences en découvrant les politiques et les fonctions de valeur. Acquérez de l'expertise en optimisation de politiques grâce aux techniques d'itération de politique et d'itération de valeur.

Exercise 1: Processus décisionnels de Markov Exercise 2: Composantes MDP du lac gelé personnalisé Exercise 3: Explorer les espaces d'états et d'actions

Exercice en cours

Exercise 4: Probabilités de transition et récompenses Exercise 5: Politiques et fonctions de valeur d'état Exercise 6: Définir une politique déterministe Exercise 7: Calculer les valeurs d'état pour une politique Exercise 8: Comparer des politiques Exercise 9: Fonctions de valeur d'action Exercise 10: Calcul des valeurs Q Exercise 11: Améliorer une politique Exercise 12: Itération de politique et itération de valeur Exercise 13: Appliquer l'itération de politique pour obtenir la politique optimale Exercise 14: Implémenter la value iteration

Partez à la découverte de l'univers dynamique de l'apprentissage sans modèle en RL. Faites connaissance avec les méthodes Monte Carlo fondamentales et appliquez les algorithmes de prédiction Monte Carlo à première visite et à chaque visite. Passez ensuite à l'apprentissage par différence temporelle en explorant l'algorithme SARSA. Enfin, plongez dans le Q-learning et analysez sa convergence dans des environnements difficiles.

Exercise 1: Méthodes de Monte-Carlo Exercise 2: Génération d'épisodes pour les méthodes de Monte-Carlo Exercise 3: Implémenter le Monte Carlo « first-visit »Exercise 4: Implémenter le Monte Carlo à chaque visite Exercise 5: Apprentissage par différence temporelle Exercise 6: Implémenter la règle de mise à jour SARSA Exercise 7: Résoudre Frozen Lake 8x8 avec SARSA Exercise 8: Q-learning Exercise 9: Mettre en œuvre la règle de mise à jour de Q-learning Exercise 10: Résoudre Frozen Lake 8x8 avec Q-learning Exercise 11: Évaluer une politique sur un lac glacé glissant

Explorez des stratégies avancées en RL sans modèle, axées sur l'amélioration des algorithmes de prise de décision. Découvrez Expected SARSA pour des mises à jour de politique plus précises et le Double Q-learning afin d'atténuer le biais de surestimation. Examinez le compromis exploration–exploitation et maîtrisez les stratégies epsilon-greedy et epsilon-decay pour une sélection d'actions optimale. Abordez le problème du bandit manchot et appliquez des stratégies pour résoudre des enjeux de décision en contexte d'incertitude.

Exercise 1: SARSA attendu Exercise 2: Règle de mise à jour Expected SARSA Exercise 3: Appliquer Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implémenter la règle de mise à jour du Double Q-learning Exercise 6: Appliquer le Double Q-learning Exercise 7: Équilibrer exploration et exploitation Exercise 8: Définir la fonction epsilon-greedy Exercise 9: Résoudre CliffWalking avec la stratégie epsilon-greedy Exercise 10: Résoudre CliffWalking avec une stratégie epsilon-greedy à décroissance Exercise 11: Bandits à bras multiples Exercise 12: Créer un bandit à plusieurs bras Exercise 13: Résoudre un bandit à bras multiples Exercise 14: Évaluer la convergence dans un bandit manchot à plusieurs bras Exercise 15: Félicitations !