Implementarea iterației valorii

Iterația valorii este o metodă esențială în RL pentru găsirea politicii optime. Aceasta îmbunătățește iterativ funcția de valoare pentru fiecare stare până când converge, ducând la descoperirea politicii optime. Vei porni de la o funcție de valoare V și o politică policy, ambele preîncărcate pentru tine. Apoi, le vei actualiza într-o buclă până când funcția de valoare converge și vei vedea politica în acțiune.

Funcția get_max_action_and_value(state, V) a fost preîncărcată pentru tine.

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

Instrucțiuni pentru exercițiu

Pentru fiecare stare, găsește acțiunea cu valoarea Q maximă (max_action) și valoarea corespunzătoare acesteia (max_q_value).
Actualizează dicționarul new_V și politica policy pe baza max_action și max_q_value.
Verifică convergența prin compararea diferenței dintre new_v și V pentru fiecare stare cu pragul threshold.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

threshold = 0.001
while True:
  new_V = {}
  for state in range(num_states-1):
    # Get action with maximum Q-value and its value 
    max_action, max_q_value = ____
    # Update the value function and policy
    new_V[state] = ____
    policy[state] = ____
  # Test if change in state values is negligeable
  if all(abs(____ - ____) < ____ for state in ____):
    break
  V = new_V
render_policy(policy)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă lumea fascinantă a Reinforcement Learning (RL) explorând conceptele sale fundamentale, rolurile implicate și aplicațiile practice. Navighează prin cadrul RL și înțelege interacțiunea dintre agent și mediu. Vei învăța, de asemenea, cum să folosești biblioteca Gymnasium pentru a crea medii, a vizualiza stări și a efectua acțiuni, dobândind astfel o bază practică solidă în conceptele și aplicațiile RL.

Exercise 1: Fundamente ale învățării prin consolidare Exercise 2: Ce este Reinforcement Learning?Exercise 3: RL vs. alte sub-domenii ale ML Exercise 4: Scenarii de aplicare a RL Exercise 5: Navigating cadrul RL Exercise 6: Bucla de interacțiune RL Exercise 7: Sarcini RL episodice și continue Exercise 8: Calcularea randamentelor actualizate pentru strategiile agentului Exercise 9: Interacțiunea cu mediile Gymnasium Exercise 10: Configurarea unui mediu Mountain Car Exercise 11: Vizualizarea mediului Mountain Car Exercise 12: Interacțiunea cu mediul Frozen Lake

Aprofundează lumea RL cu focus pe învățarea bazată pe model. Descoperă complexitățile Proceselor de Decizie Markov (MDP) și înțelege componentele lor esențiale. Îți vei extinde abilitățile prin studiul politicilor și al funcțiilor de valoare. Vei dobândi expertiză în optimizarea politicilor folosind tehnicile de iterare a politicilor și iterare a valorilor.

Exercise 1: Procesele de Decizie Markov Exercise 2: Componentele MDP ale unui Frozen Lake personalizat Exercise 3: Explorarea spațiilor de stări și acțiuni Exercise 4: Probabilități de tranziție și recompense Exercise 5: Politici și funcții de valoare a stărilor Exercise 6: Definirea unei politici deterministe Exercise 7: Calcularea valorilor de stare pentru o politică Exercise 8: Compararea politicilor Exercise 9: Funcții de valoare a acțiunii Exercise 10: Calcularea valorilor Q Exercise 11: Îmbunătățirea unei politici Exercise 12: Iterarea politicilor și iterarea valorilor Exercise 13: Aplicarea iterației de politică pentru politica optimă Exercise 14: Implementarea iterației valorii

Exercițiul curent

Pornește într-o călătorie prin domeniul dinamic al învățării fără model în RL. Ia contact cu metodele Monte Carlo de bază și aplică algoritmii de predicție Monte Carlo cu prima vizită și cu toate vizitele. Treci apoi în lumea Temporal Difference Learning, explorând algoritmul SARSA. În final, aprofundează Q-Learning și analizează convergența sa în medii dificile.

Exercise 1: Metode Monte Carlo Exercise 2: Generarea episoadelor pentru metodele Monte Carlo Exercise 3: Implementarea metodei Monte Carlo first-visit Exercise 4: Implementarea metodei Monte Carlo cu vizitare completă Exercise 5: Învățare prin diferențe temporale Exercise 6: Implementarea regulii de actualizare SARSA Exercise 7: Rezolvarea Frozen Lake 8x8 cu SARSA Exercise 8: Q-learning Exercise 9: Implementarea regulii de actualizare Q-learning Exercise 10: Rezolvarea Frozen Lake 8x8 cu Q-learning Exercise 11: Evaluarea politicii pe un lac înghețat alunecos

Explorează strategii avansate în RL fără model, cu accent pe îmbunătățirea algoritmilor de luare a deciziilor. Învață despre Expected SARSA pentru actualizări mai precise ale politicilor și despre Double Q-learning pentru a reduce tendința de supraestimare. Descoperă compromisul explorare-exploatare, stăpânind strategiile epsilon-greedy și epsilon-decay pentru selectarea optimă a acțiunilor. Abordează problema Multi-Armed Bandit, aplicând strategii pentru a rezolva provocări de luare a deciziilor în condiții de incertitudine.

Exercise 1: Expected SARSA Exercise 2: Regula de actualizare Expected SARSA Exercise 3: Aplicarea Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementarea regulii de actualizare Double Q-learning Exercise 6: Aplicarea Double Q-learning Exercise 7: Echilibrul dintre explorare și exploatare Exercise 8: Definirea funcției epsilon-greedy Exercise 9: Rezolvarea CliffWalking cu strategia epsilon-greedy Exercise 10: Rezolvarea CliffWalking cu strategia epsilon-greedy cu descreștere Exercise 11: Banditul multi-braț Exercise 12: Crearea unui bandit multi-armed Exercise 13: Rezolvarea unei probleme de bandit multi-armed Exercise 14: Evaluarea convergenței într-o problemă cu mai mulți bandiți Exercise 15: Felicitări!