Implémenter la règle de mise à jour SARSA

SARSA est un algorithme on-policy en RL qui met à jour la fonction valeur‑action en fonction de l'action réalisée et de l'action choisie dans l'état suivant. Cette méthode permet d'apprendre la valeur non seulement du couple état‑action courant, mais aussi du suivant, ce qui aide à apprendre des politiques qui tiennent compte des actions futures. La règle de mise à jour SARSA est présentée ci‑dessous, et votre tâche consiste à implémenter une fonction qui met à jour une table Q selon cette règle.

La bibliothèque NumPy a été importée sous le nom np.

Image showing the mathematical formula of the SARSA update rule.

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

Instructions de l’exercice

Récupérez la valeur Q actuelle pour le couple état‑action donné.
Trouvez la valeur Q pour le couple état‑action suivant.
Mettez à jour la valeur Q du couple état‑action courant à l'aide de la formule SARSA.
Mettez à jour la table Q Q, sachant qu'un agent effectue l'action 0 dans l'état 0, reçoit une récompense de 5, passe à l'état 1 et effectue l'action 1.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def update_q_table(state, action, reward, next_state, next_action):
  	# Get the old value of the current state-action pair
    old_value = ____
    # Get the value of the next state-action pair
    next_value = ____
    # Compute the new value of the current state-action pair
    Q[(state, action)] = ____

alpha = 0.1
gamma  = 0.8
Q = np.array([[10,0],[0,20]], dtype='float32')
# Update the Q-table for the ('state1', 'action1') pair
____
print(Q)

Modifier et exécuter le code

Cette activité fait partie du cours

Reinforcement Learning avec Gymnasium en Python

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Plongez dans l'univers captivant du Reinforcement Learning (RL) en explorant ses concepts, ses rôles et ses applications fondamentaux. Parcourez le cadre du RL et découvrez l'interaction agent–environnement. Vous apprendrez aussi à utiliser la bibliothèque Gymnasium pour créer des environnements, visualiser des états et exécuter des actions, afin d'acquérir une base pratique en concepts et en applications du RL.

Exercise 1: Principes fondamentaux de l'apprentissage par renforcement Exercise 2: Qu'est-ce que l'apprentissage par renforcement?Exercise 3: RL vs. autres sous-domaines de ML Exercise 4: Scénarios d'application du RL Exercise 5: Parcourir le cadre de l'RL Exercise 6: Boucle d'interaction en RL Exercise 7: Tâches de RL épisodiques et continues Exercise 8: Calcul du rendement actualisé pour des stratégies d'agent Exercise 9: Interaction avec les environnements Gymnasium Exercise 10: Configurer un environnement Mountain Car Exercise 11: Visualiser l'environnement Mountain Car Exercise 12: Interagir avec l'environnement Frozen Lake

Approfondissez le RL en vous concentrant sur l'apprentissage fondé sur un modèle. Démêlez la complexité des processus de décision de Markov (MDP) et comprenez leurs composantes essentielles. Perfectionnez vos compétences en découvrant les politiques et les fonctions de valeur. Acquérez de l'expertise en optimisation de politiques grâce aux techniques d'itération de politique et d'itération de valeur.

Exercise 1: Processus décisionnels de Markov Exercise 2: Composantes MDP du lac gelé personnalisé Exercise 3: Explorer les espaces d'états et d'actions Exercise 4: Probabilités de transition et récompenses Exercise 5: Politiques et fonctions de valeur d'état Exercise 6: Définir une politique déterministe Exercise 7: Calculer les valeurs d'état pour une politique Exercise 8: Comparer des politiques Exercise 9: Fonctions de valeur d'action Exercise 10: Calcul des valeurs Q Exercise 11: Améliorer une politique Exercise 12: Itération de politique et itération de valeur Exercise 13: Appliquer l'itération de politique pour obtenir la politique optimale Exercise 14: Implémenter la value iteration

Partez à la découverte de l'univers dynamique de l'apprentissage sans modèle en RL. Faites connaissance avec les méthodes Monte Carlo fondamentales et appliquez les algorithmes de prédiction Monte Carlo à première visite et à chaque visite. Passez ensuite à l'apprentissage par différence temporelle en explorant l'algorithme SARSA. Enfin, plongez dans le Q-learning et analysez sa convergence dans des environnements difficiles.

Exercise 1: Méthodes de Monte-Carlo Exercise 2: Génération d'épisodes pour les méthodes de Monte-Carlo Exercise 3: Implémenter le Monte Carlo « first-visit »Exercise 4: Implémenter le Monte Carlo à chaque visite Exercise 5: Apprentissage par différence temporelle Exercise 6: Implémenter la règle de mise à jour SARSA

Exercice en cours

Exercise 7: Résoudre Frozen Lake 8x8 avec SARSA Exercise 8: Q-learning Exercise 9: Mettre en œuvre la règle de mise à jour de Q-learning Exercise 10: Résoudre Frozen Lake 8x8 avec Q-learning Exercise 11: Évaluer une politique sur un lac glacé glissant

Explorez des stratégies avancées en RL sans modèle, axées sur l'amélioration des algorithmes de prise de décision. Découvrez Expected SARSA pour des mises à jour de politique plus précises et le Double Q-learning afin d'atténuer le biais de surestimation. Examinez le compromis exploration–exploitation et maîtrisez les stratégies epsilon-greedy et epsilon-decay pour une sélection d'actions optimale. Abordez le problème du bandit manchot et appliquez des stratégies pour résoudre des enjeux de décision en contexte d'incertitude.

Exercise 1: SARSA attendu Exercise 2: Règle de mise à jour Expected SARSA Exercise 3: Appliquer Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implémenter la règle de mise à jour du Double Q-learning Exercise 6: Appliquer le Double Q-learning Exercise 7: Équilibrer exploration et exploitation Exercise 8: Définir la fonction epsilon-greedy Exercise 9: Résoudre CliffWalking avec la stratégie epsilon-greedy Exercise 10: Résoudre CliffWalking avec une stratégie epsilon-greedy à décroissance Exercise 11: Bandits à bras multiples Exercise 12: Créer un bandit à plusieurs bras Exercise 13: Résoudre un bandit à bras multiples Exercise 14: Évaluer la convergence dans un bandit manchot à plusieurs bras Exercise 15: Félicitations !