Definirea funcției epsilon-greedy

În RL, strategia epsilon-greedy reprezintă un echilibru între explorare și exploatare. Această metodă alege o acțiune aleatorie cu probabilitatea epsilon și acțiunea cea mai bună cunoscută cu probabilitatea 1-epsilon. Implementarea funcției epsilon_greedy() este esențială pentru algoritmi precum Q-learning și SARSA, facilitând procesul de învățare al agentului prin asigurarea atât a explorării mediului, cât și a exploatării recompenselor cunoscute – acesta va fi obiectivul acestui exercițiu.

Biblioteca numpy a fost importată ca np.

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

Instrucțiuni pentru exercițiu

În interiorul funcției, scrie condiția potrivită pentru ca agentul să exploreze mediul.
Alege o action aleatorie în cazul explorării.
Alege cea mai bună action conform q_table în cazul exploatării.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

epsilon = 0.2
env = gym.make('FrozenLake')
q_table = np.random.rand(env.observation_space.n, env.action_space.n)

def epsilon_greedy(state):
    # Implement the condition to explore
    if ____ < ____:
      	# Choose a random action
        action = ____
    else:
      	# Choose the best action according to q_table
        action = ____
    return action

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă lumea fascinantă a Reinforcement Learning (RL) explorând conceptele sale fundamentale, rolurile implicate și aplicațiile practice. Navighează prin cadrul RL și înțelege interacțiunea dintre agent și mediu. Vei învăța, de asemenea, cum să folosești biblioteca Gymnasium pentru a crea medii, a vizualiza stări și a efectua acțiuni, dobândind astfel o bază practică solidă în conceptele și aplicațiile RL.

Exercise 1: Fundamente ale învățării prin consolidare Exercise 2: Ce este Reinforcement Learning?Exercise 3: RL vs. alte sub-domenii ale ML Exercise 4: Scenarii de aplicare a RL Exercise 5: Navigating cadrul RL Exercise 6: Bucla de interacțiune RL Exercise 7: Sarcini RL episodice și continue Exercise 8: Calcularea randamentelor actualizate pentru strategiile agentului Exercise 9: Interacțiunea cu mediile Gymnasium Exercise 10: Configurarea unui mediu Mountain Car Exercise 11: Vizualizarea mediului Mountain Car Exercise 12: Interacțiunea cu mediul Frozen Lake

Aprofundează lumea RL cu focus pe învățarea bazată pe model. Descoperă complexitățile Proceselor de Decizie Markov (MDP) și înțelege componentele lor esențiale. Îți vei extinde abilitățile prin studiul politicilor și al funcțiilor de valoare. Vei dobândi expertiză în optimizarea politicilor folosind tehnicile de iterare a politicilor și iterare a valorilor.

Exercise 1: Procesele de Decizie Markov Exercise 2: Componentele MDP ale unui Frozen Lake personalizat Exercise 3: Explorarea spațiilor de stări și acțiuni Exercise 4: Probabilități de tranziție și recompense Exercise 5: Politici și funcții de valoare a stărilor Exercise 6: Definirea unei politici deterministe Exercise 7: Calcularea valorilor de stare pentru o politică Exercise 8: Compararea politicilor Exercise 9: Funcții de valoare a acțiunii Exercise 10: Calcularea valorilor Q Exercise 11: Îmbunătățirea unei politici Exercise 12: Iterarea politicilor și iterarea valorilor Exercise 13: Aplicarea iterației de politică pentru politica optimă Exercise 14: Implementarea iterației valorii

Pornește într-o călătorie prin domeniul dinamic al învățării fără model în RL. Ia contact cu metodele Monte Carlo de bază și aplică algoritmii de predicție Monte Carlo cu prima vizită și cu toate vizitele. Treci apoi în lumea Temporal Difference Learning, explorând algoritmul SARSA. În final, aprofundează Q-Learning și analizează convergența sa în medii dificile.

Exercise 1: Metode Monte Carlo Exercise 2: Generarea episoadelor pentru metodele Monte Carlo Exercise 3: Implementarea metodei Monte Carlo first-visit Exercise 4: Implementarea metodei Monte Carlo cu vizitare completă Exercise 5: Învățare prin diferențe temporale Exercise 6: Implementarea regulii de actualizare SARSA Exercise 7: Rezolvarea Frozen Lake 8x8 cu SARSA Exercise 8: Q-learning Exercise 9: Implementarea regulii de actualizare Q-learning Exercise 10: Rezolvarea Frozen Lake 8x8 cu Q-learning Exercise 11: Evaluarea politicii pe un lac înghețat alunecos

Explorează strategii avansate în RL fără model, cu accent pe îmbunătățirea algoritmilor de luare a deciziilor. Învață despre Expected SARSA pentru actualizări mai precise ale politicilor și despre Double Q-learning pentru a reduce tendința de supraestimare. Descoperă compromisul explorare-exploatare, stăpânind strategiile epsilon-greedy și epsilon-decay pentru selectarea optimă a acțiunilor. Abordează problema Multi-Armed Bandit, aplicând strategii pentru a rezolva provocări de luare a deciziilor în condiții de incertitudine.

Exercise 1: Expected SARSA Exercise 2: Regula de actualizare Expected SARSA Exercise 3: Aplicarea Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementarea regulii de actualizare Double Q-learning Exercise 6: Aplicarea Double Q-learning Exercise 7: Echilibrul dintre explorare și exploatare Exercise 8: Definirea funcției epsilon-greedy

Exercițiul curent

Exercise 9: Rezolvarea CliffWalking cu strategia epsilon-greedy Exercise 10: Rezolvarea CliffWalking cu strategia epsilon-greedy cu descreștere Exercise 11: Banditul multi-braț Exercise 12: Crearea unui bandit multi-armed Exercise 13: Rezolvarea unei probleme de bandit multi-armed Exercise 14: Evaluarea convergenței într-o problemă cu mai mulți bandiți Exercise 15: Felicitări!