Crearea unui bandit multi-armed

Problema banditului multi-armed (multi-armed bandit) este un exemplu clasic din reinforcement learning care descrie un scenariu în care un agent trebuie să aleagă între mai multe acțiuni (sau „brațe") fără a cunoaște recompensa așteptată pentru fiecare. În timp, agentul învață ce braț oferă cea mai mare recompensă, explorând pe rând fiecare opțiune. Acest exercițiu presupune configurarea structurii de bază pentru simularea unei probleme de tip bandit multi-armed.

Biblioteca numpy a fost importată ca np.

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

Instrucțiuni pentru exercițiu

Generează un array true_bandit_probs cu probabilități aleatorii care reprezintă rata de succes reală a fiecărui bandit.
Inițializează două arrayuri, counts și values, cu zerouri; counts urmărește de câte ori a fost ales fiecare bandit, iar values reprezintă probabilitatea estimată de câștig a fiecărui bandit.
Creează arrayurile rewards și selected_arms pentru a stoca recompensele obținute, respectiv brațele selectate în fiecare iterație.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def create_multi_armed_bandit(n_bandits):
  	# Generate the true bandits probabilities
    true_bandit_probs = ____ 
    # Create arrays that store the count and value for each bandit
    counts = ____  
    values = ____  
    # Create arrays that store the rewards and selected arms each episode
    rewards = ____
    selected_arms = ____ 
    return true_bandit_probs, counts, values, rewards, selected_arms

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning cu Gymnasium în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă lumea fascinantă a Reinforcement Learning (RL) explorând conceptele sale fundamentale, rolurile implicate și aplicațiile practice. Navighează prin cadrul RL și înțelege interacțiunea dintre agent și mediu. Vei învăța, de asemenea, cum să folosești biblioteca Gymnasium pentru a crea medii, a vizualiza stări și a efectua acțiuni, dobândind astfel o bază practică solidă în conceptele și aplicațiile RL.

Exercise 1: Fundamente ale învățării prin consolidare Exercise 2: Ce este Reinforcement Learning?Exercise 3: RL vs. alte sub-domenii ale ML Exercise 4: Scenarii de aplicare a RL Exercise 5: Navigating cadrul RL Exercise 6: Bucla de interacțiune RL Exercise 7: Sarcini RL episodice și continue Exercise 8: Calcularea randamentelor actualizate pentru strategiile agentului Exercise 9: Interacțiunea cu mediile Gymnasium Exercise 10: Configurarea unui mediu Mountain Car Exercise 11: Vizualizarea mediului Mountain Car Exercise 12: Interacțiunea cu mediul Frozen Lake

Aprofundează lumea RL cu focus pe învățarea bazată pe model. Descoperă complexitățile Proceselor de Decizie Markov (MDP) și înțelege componentele lor esențiale. Îți vei extinde abilitățile prin studiul politicilor și al funcțiilor de valoare. Vei dobândi expertiză în optimizarea politicilor folosind tehnicile de iterare a politicilor și iterare a valorilor.

Exercise 1: Procesele de Decizie Markov Exercise 2: Componentele MDP ale unui Frozen Lake personalizat Exercise 3: Explorarea spațiilor de stări și acțiuni Exercise 4: Probabilități de tranziție și recompense Exercise 5: Politici și funcții de valoare a stărilor Exercise 6: Definirea unei politici deterministe Exercise 7: Calcularea valorilor de stare pentru o politică Exercise 8: Compararea politicilor Exercise 9: Funcții de valoare a acțiunii Exercise 10: Calcularea valorilor Q Exercise 11: Îmbunătățirea unei politici Exercise 12: Iterarea politicilor și iterarea valorilor Exercise 13: Aplicarea iterației de politică pentru politica optimă Exercise 14: Implementarea iterației valorii

Pornește într-o călătorie prin domeniul dinamic al învățării fără model în RL. Ia contact cu metodele Monte Carlo de bază și aplică algoritmii de predicție Monte Carlo cu prima vizită și cu toate vizitele. Treci apoi în lumea Temporal Difference Learning, explorând algoritmul SARSA. În final, aprofundează Q-Learning și analizează convergența sa în medii dificile.

Exercise 1: Metode Monte Carlo Exercise 2: Generarea episoadelor pentru metodele Monte Carlo Exercise 3: Implementarea metodei Monte Carlo first-visit Exercise 4: Implementarea metodei Monte Carlo cu vizitare completă Exercise 5: Învățare prin diferențe temporale Exercise 6: Implementarea regulii de actualizare SARSA Exercise 7: Rezolvarea Frozen Lake 8x8 cu SARSA Exercise 8: Q-learning Exercise 9: Implementarea regulii de actualizare Q-learning Exercise 10: Rezolvarea Frozen Lake 8x8 cu Q-learning Exercise 11: Evaluarea politicii pe un lac înghețat alunecos

Explorează strategii avansate în RL fără model, cu accent pe îmbunătățirea algoritmilor de luare a deciziilor. Învață despre Expected SARSA pentru actualizări mai precise ale politicilor și despre Double Q-learning pentru a reduce tendința de supraestimare. Descoperă compromisul explorare-exploatare, stăpânind strategiile epsilon-greedy și epsilon-decay pentru selectarea optimă a acțiunilor. Abordează problema Multi-Armed Bandit, aplicând strategii pentru a rezolva provocări de luare a deciziilor în condiții de incertitudine.

Exercise 1: Expected SARSA Exercise 2: Regula de actualizare Expected SARSA Exercise 3: Aplicarea Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementarea regulii de actualizare Double Q-learning Exercise 6: Aplicarea Double Q-learning Exercise 7: Echilibrul dintre explorare și exploatare Exercise 8: Definirea funcției epsilon-greedy Exercise 9: Rezolvarea CliffWalking cu strategia epsilon-greedy Exercise 10: Rezolvarea CliffWalking cu strategia epsilon-greedy cu descreștere Exercise 11: Banditul multi-braț Exercise 12: Crearea unui bandit multi-armed

Exercițiul curent

Exercise 13: Rezolvarea unei probleme de bandit multi-armed Exercise 14: Evaluarea convergenței într-o problemă cu mai mulți bandiți Exercise 15: Felicitări!