Regula de actualizare Expected SARSA

În acest exercițiu, vei implementa regula de actualizare Expected SARSA – un algoritm de RL model-free bazat pe diferențe temporale. Expected SARSA estimează valoarea așteptată a politicii curente prin calcularea mediei peste toate acțiunile posibile, oferind o țintă de actualizare mai stabilă față de SARSA. Formulele utilizate în Expected SARSA sunt prezentate mai jos.

Image showing the mathematical formula of the expected SARSA update rule.

Biblioteca numpy a fost importată ca np.

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

Instrucțiuni pentru exercițiu

Calculează valoarea Q așteptată pentru next_state.
Actualizează valoarea Q pentru state-ul și action-ul curent folosind formula Expected SARSA.
Actualizează tabelul Q Q presupunând că agentul execută acțiunea 1 în starea 2 și trece în starea 3, primind o recompensă de 5.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def update_q_table(state, action, next_state, reward):
  	# Calculate the expected Q-value for the next state
    expected_q = ____
    # Update the Q-value for the current state and action
    Q[state, action] = ____
    
Q = np.random.rand(5, 2)
print("Old Q:\n", Q)
alpha = 0.1
gamma = 0.99

# Update the Q-table
update_q_table(____, ____, ____, ____)
print("Updated Q:\n", Q)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă lumea fascinantă a Reinforcement Learning (RL) explorând conceptele sale fundamentale, rolurile implicate și aplicațiile practice. Navighează prin cadrul RL și înțelege interacțiunea dintre agent și mediu. Vei învăța, de asemenea, cum să folosești biblioteca Gymnasium pentru a crea medii, a vizualiza stări și a efectua acțiuni, dobândind astfel o bază practică solidă în conceptele și aplicațiile RL.

Exercise 1: Fundamente ale învățării prin consolidare Exercise 2: Ce este Reinforcement Learning?Exercise 3: RL vs. alte sub-domenii ale ML Exercise 4: Scenarii de aplicare a RL Exercise 5: Navigating cadrul RL Exercise 6: Bucla de interacțiune RL Exercise 7: Sarcini RL episodice și continue Exercise 8: Calcularea randamentelor actualizate pentru strategiile agentului Exercise 9: Interacțiunea cu mediile Gymnasium Exercise 10: Configurarea unui mediu Mountain Car Exercise 11: Vizualizarea mediului Mountain Car Exercise 12: Interacțiunea cu mediul Frozen Lake

Aprofundează lumea RL cu focus pe învățarea bazată pe model. Descoperă complexitățile Proceselor de Decizie Markov (MDP) și înțelege componentele lor esențiale. Îți vei extinde abilitățile prin studiul politicilor și al funcțiilor de valoare. Vei dobândi expertiză în optimizarea politicilor folosind tehnicile de iterare a politicilor și iterare a valorilor.

Exercise 1: Procesele de Decizie Markov Exercise 2: Componentele MDP ale unui Frozen Lake personalizat Exercise 3: Explorarea spațiilor de stări și acțiuni Exercise 4: Probabilități de tranziție și recompense Exercise 5: Politici și funcții de valoare a stărilor Exercise 6: Definirea unei politici deterministe Exercise 7: Calcularea valorilor de stare pentru o politică Exercise 8: Compararea politicilor Exercise 9: Funcții de valoare a acțiunii Exercise 10: Calcularea valorilor Q Exercise 11: Îmbunătățirea unei politici Exercise 12: Iterarea politicilor și iterarea valorilor Exercise 13: Aplicarea iterației de politică pentru politica optimă Exercise 14: Implementarea iterației valorii

Pornește într-o călătorie prin domeniul dinamic al învățării fără model în RL. Ia contact cu metodele Monte Carlo de bază și aplică algoritmii de predicție Monte Carlo cu prima vizită și cu toate vizitele. Treci apoi în lumea Temporal Difference Learning, explorând algoritmul SARSA. În final, aprofundează Q-Learning și analizează convergența sa în medii dificile.

Exercise 1: Metode Monte Carlo Exercise 2: Generarea episoadelor pentru metodele Monte Carlo Exercise 3: Implementarea metodei Monte Carlo first-visit Exercise 4: Implementarea metodei Monte Carlo cu vizitare completă Exercise 5: Învățare prin diferențe temporale Exercise 6: Implementarea regulii de actualizare SARSA Exercise 7: Rezolvarea Frozen Lake 8x8 cu SARSA Exercise 8: Q-learning Exercise 9: Implementarea regulii de actualizare Q-learning Exercise 10: Rezolvarea Frozen Lake 8x8 cu Q-learning Exercise 11: Evaluarea politicii pe un lac înghețat alunecos

Explorează strategii avansate în RL fără model, cu accent pe îmbunătățirea algoritmilor de luare a deciziilor. Învață despre Expected SARSA pentru actualizări mai precise ale politicilor și despre Double Q-learning pentru a reduce tendința de supraestimare. Descoperă compromisul explorare-exploatare, stăpânind strategiile epsilon-greedy și epsilon-decay pentru selectarea optimă a acțiunilor. Abordează problema Multi-Armed Bandit, aplicând strategii pentru a rezolva provocări de luare a deciziilor în condiții de incertitudine.

Exercise 1: Expected SARSA Exercise 2: Regula de actualizare Expected SARSA

Exercițiul curent

Exercise 3: Aplicarea Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementarea regulii de actualizare Double Q-learning Exercise 6: Aplicarea Double Q-learning Exercise 7: Echilibrul dintre explorare și exploatare Exercise 8: Definirea funcției epsilon-greedy Exercise 9: Rezolvarea CliffWalking cu strategia epsilon-greedy Exercise 10: Rezolvarea CliffWalking cu strategia epsilon-greedy cu descreștere Exercise 11: Banditul multi-braț Exercise 12: Crearea unui bandit multi-armed Exercise 13: Rezolvarea unei probleme de bandit multi-armed Exercise 14: Evaluarea convergenței într-o problemă cu mai mulți bandiți Exercise 15: Felicitări!