Aplicarea Expected SARSA

Acum vei aplica algoritmul Expected SARSA într-un mediu personalizat, ilustrat mai jos. Scopul este ca agentul să navigheze printr-un grid și să ajungă la destinație cât mai repede posibil. Regulile rămân aceleași ca înainte: agentul primește o recompensă de +10 când ajunge la diamant, -2 când trece printr-un munte și -1 pentru orice altă stare.

Mediul a fost importat ca env.

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

Instrucțiuni pentru exercițiu

Inițializează tabelul Q Q cu zerouri pentru fiecare pereche stare-acțiune.
Actualizează tabelul Q folosind funcția update_q_table().
Extrage politica sub forma unui dicționar din tabelul Q învățat.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Initialize the Q-table with random values
Q = ____
for i_episode in range(num_episodes):
    state, info = env.reset()    
    done = False    
    while not done: 
        action = env.action_space.sample()               
        next_state, reward, done, truncated, info = env.step(action)
        # Update the Q-table
        ____
        state = next_state
# Derive policy from Q-table        
policy = {state: ____ for state in range(____)}
render_policy(policy)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă lumea fascinantă a Reinforcement Learning (RL) explorând conceptele sale fundamentale, rolurile implicate și aplicațiile practice. Navighează prin cadrul RL și înțelege interacțiunea dintre agent și mediu. Vei învăța, de asemenea, cum să folosești biblioteca Gymnasium pentru a crea medii, a vizualiza stări și a efectua acțiuni, dobândind astfel o bază practică solidă în conceptele și aplicațiile RL.

Exercise 1: Fundamente ale învățării prin consolidare Exercise 2: Ce este Reinforcement Learning?Exercise 3: RL vs. alte sub-domenii ale ML Exercise 4: Scenarii de aplicare a RL Exercise 5: Navigating cadrul RL Exercise 6: Bucla de interacțiune RL Exercise 7: Sarcini RL episodice și continue Exercise 8: Calcularea randamentelor actualizate pentru strategiile agentului Exercise 9: Interacțiunea cu mediile Gymnasium Exercise 10: Configurarea unui mediu Mountain Car Exercise 11: Vizualizarea mediului Mountain Car Exercise 12: Interacțiunea cu mediul Frozen Lake

Aprofundează lumea RL cu focus pe învățarea bazată pe model. Descoperă complexitățile Proceselor de Decizie Markov (MDP) și înțelege componentele lor esențiale. Îți vei extinde abilitățile prin studiul politicilor și al funcțiilor de valoare. Vei dobândi expertiză în optimizarea politicilor folosind tehnicile de iterare a politicilor și iterare a valorilor.

Exercise 1: Procesele de Decizie Markov Exercise 2: Componentele MDP ale unui Frozen Lake personalizat Exercise 3: Explorarea spațiilor de stări și acțiuni Exercise 4: Probabilități de tranziție și recompense Exercise 5: Politici și funcții de valoare a stărilor Exercise 6: Definirea unei politici deterministe Exercise 7: Calcularea valorilor de stare pentru o politică Exercise 8: Compararea politicilor Exercise 9: Funcții de valoare a acțiunii Exercise 10: Calcularea valorilor Q Exercise 11: Îmbunătățirea unei politici Exercise 12: Iterarea politicilor și iterarea valorilor Exercise 13: Aplicarea iterației de politică pentru politica optimă Exercise 14: Implementarea iterației valorii

Pornește într-o călătorie prin domeniul dinamic al învățării fără model în RL. Ia contact cu metodele Monte Carlo de bază și aplică algoritmii de predicție Monte Carlo cu prima vizită și cu toate vizitele. Treci apoi în lumea Temporal Difference Learning, explorând algoritmul SARSA. În final, aprofundează Q-Learning și analizează convergența sa în medii dificile.

Exercise 1: Metode Monte Carlo Exercise 2: Generarea episoadelor pentru metodele Monte Carlo Exercise 3: Implementarea metodei Monte Carlo first-visit Exercise 4: Implementarea metodei Monte Carlo cu vizitare completă Exercise 5: Învățare prin diferențe temporale Exercise 6: Implementarea regulii de actualizare SARSA Exercise 7: Rezolvarea Frozen Lake 8x8 cu SARSA Exercise 8: Q-learning Exercise 9: Implementarea regulii de actualizare Q-learning Exercise 10: Rezolvarea Frozen Lake 8x8 cu Q-learning Exercise 11: Evaluarea politicii pe un lac înghețat alunecos

Explorează strategii avansate în RL fără model, cu accent pe îmbunătățirea algoritmilor de luare a deciziilor. Învață despre Expected SARSA pentru actualizări mai precise ale politicilor și despre Double Q-learning pentru a reduce tendința de supraestimare. Descoperă compromisul explorare-exploatare, stăpânind strategiile epsilon-greedy și epsilon-decay pentru selectarea optimă a acțiunilor. Abordează problema Multi-Armed Bandit, aplicând strategii pentru a rezolva provocări de luare a deciziilor în condiții de incertitudine.

Exercise 1: Expected SARSA Exercise 2: Regula de actualizare Expected SARSA Exercise 3: Aplicarea Expected SARSA

Exercițiul curent

Exercise 4: Double Q-learning Exercise 5: Implementarea regulii de actualizare Double Q-learning Exercise 6: Aplicarea Double Q-learning Exercise 7: Echilibrul dintre explorare și exploatare Exercise 8: Definirea funcției epsilon-greedy Exercise 9: Rezolvarea CliffWalking cu strategia epsilon-greedy Exercise 10: Rezolvarea CliffWalking cu strategia epsilon-greedy cu descreștere Exercise 11: Banditul multi-braț Exercise 12: Crearea unui bandit multi-armed Exercise 13: Rezolvarea unei probleme de bandit multi-armed Exercise 14: Evaluarea convergenței într-o problemă cu mai mulți bandiți Exercise 15: Felicitări!