Probabilités de transition et récompenses

L'environnement Cliff Walking compte 48 états, numérotés de 0 à 47, ligne par ligne, du coin supérieur gauche (0) au coin inférieur droit (47). Votre objectif est d'examiner la structure des probabilités de transition et des récompenses dans ce contexte. À noter : toutes les récompenses, y compris celle liée à l'atteinte de l'objectif, sont négatives dans cet environnement. Ce choix de conception met l'accent sur la minimisation du nombre d'étapes, puisque chaque déplacement entraîne une pénalité. L'efficacité devient donc un élément clé pour concevoir des algorithmes d'apprentissage performants.

La bibliothèque gymnasium a été importée sous le nom gym et l'environnement sous le nom env. De plus, num_states et num_actions de l'exercice précédent ont été importés.

Image montrant l'environnement cliff walking.

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Choose the state
state = ____

# Extract transitions for each state-action pair
for action in range(num_actions):
    transitions = ____
    # Print details of each transition
    for transition in transitions:
        ____, ____, ____, ____ = transition
        print(f"Probability: {probability}, Next State: {next_state}, Reward: {reward}, Done: {done}")

Modifier et exécuter le code

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Plongez dans l'univers captivant du Reinforcement Learning (RL) en explorant ses concepts, ses rôles et ses applications fondamentaux. Parcourez le cadre du RL et découvrez l'interaction agent–environnement. Vous apprendrez aussi à utiliser la bibliothèque Gymnasium pour créer des environnements, visualiser des états et exécuter des actions, afin d'acquérir une base pratique en concepts et en applications du RL.

Exercise 1: Principes fondamentaux de l'apprentissage par renforcement Exercise 2: Qu'est-ce que l'apprentissage par renforcement?Exercise 3: RL vs. autres sous-domaines de ML Exercise 4: Scénarios d'application du RL Exercise 5: Parcourir le cadre de l'RL Exercise 6: Boucle d'interaction en RL Exercise 7: Tâches de RL épisodiques et continues Exercise 8: Calcul du rendement actualisé pour des stratégies d'agent Exercise 9: Interaction avec les environnements Gymnasium Exercise 10: Configurer un environnement Mountain Car Exercise 11: Visualiser l'environnement Mountain Car Exercise 12: Interagir avec l'environnement Frozen Lake

Approfondissez le RL en vous concentrant sur l'apprentissage fondé sur un modèle. Démêlez la complexité des processus de décision de Markov (MDP) et comprenez leurs composantes essentielles. Perfectionnez vos compétences en découvrant les politiques et les fonctions de valeur. Acquérez de l'expertise en optimisation de politiques grâce aux techniques d'itération de politique et d'itération de valeur.

Exercise 1: Processus décisionnels de Markov Exercise 2: Composantes MDP du lac gelé personnalisé Exercise 3: Explorer les espaces d'états et d'actions Exercise 4: Probabilités de transition et récompenses

Exercice en cours

Exercise 5: Politiques et fonctions de valeur d'état Exercise 6: Définir une politique déterministe Exercise 7: Calculer les valeurs d'état pour une politique Exercise 8: Comparer des politiques Exercise 9: Fonctions de valeur d'action Exercise 10: Calcul des valeurs Q Exercise 11: Améliorer une politique Exercise 12: Itération de politique et itération de valeur Exercise 13: Appliquer l'itération de politique pour obtenir la politique optimale Exercise 14: Implémenter la value iteration

Partez à la découverte de l'univers dynamique de l'apprentissage sans modèle en RL. Faites connaissance avec les méthodes Monte Carlo fondamentales et appliquez les algorithmes de prédiction Monte Carlo à première visite et à chaque visite. Passez ensuite à l'apprentissage par différence temporelle en explorant l'algorithme SARSA. Enfin, plongez dans le Q-learning et analysez sa convergence dans des environnements difficiles.

Exercise 1: Méthodes de Monte-Carlo Exercise 2: Génération d'épisodes pour les méthodes de Monte-Carlo Exercise 3: Implémenter le Monte Carlo « first-visit »Exercise 4: Implémenter le Monte Carlo à chaque visite Exercise 5: Apprentissage par différence temporelle Exercise 6: Implémenter la règle de mise à jour SARSA Exercise 7: Résoudre Frozen Lake 8x8 avec SARSA Exercise 8: Q-learning Exercise 9: Mettre en œuvre la règle de mise à jour de Q-learning Exercise 10: Résoudre Frozen Lake 8x8 avec Q-learning Exercise 11: Évaluer une politique sur un lac glacé glissant

Explorez des stratégies avancées en RL sans modèle, axées sur l'amélioration des algorithmes de prise de décision. Découvrez Expected SARSA pour des mises à jour de politique plus précises et le Double Q-learning afin d'atténuer le biais de surestimation. Examinez le compromis exploration–exploitation et maîtrisez les stratégies epsilon-greedy et epsilon-decay pour une sélection d'actions optimale. Abordez le problème du bandit manchot et appliquez des stratégies pour résoudre des enjeux de décision en contexte d'incertitude.

Exercise 1: SARSA attendu Exercise 2: Règle de mise à jour Expected SARSA Exercise 3: Appliquer Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implémenter la règle de mise à jour du Double Q-learning Exercise 6: Appliquer le Double Q-learning Exercise 7: Équilibrer exploration et exploitation Exercise 8: Définir la fonction epsilon-greedy Exercise 9: Résoudre CliffWalking avec la stratégie epsilon-greedy Exercise 10: Résoudre CliffWalking avec une stratégie epsilon-greedy à décroissance Exercise 11: Bandits à bras multiples Exercise 12: Créer un bandit à plusieurs bras Exercise 13: Résoudre un bandit à bras multiples Exercise 14: Évaluer la convergence dans un bandit manchot à plusieurs bras Exercise 15: Félicitations !