Episodiska och kontinuerliga RL-uppgifter

Inom RL delas uppgifter in i två huvudtyper: episodiska och kontinuerliga. Att förstå skillnaden mellan dessa är avgörande för att utforma lämpliga RL-algoritmer.

Den här övningen är en del av kursen

Reinforcement Learning med Gymnasium i Python

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Reinforcement Learning med Gymnasium i Python

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Utforska förstärkningsinlärningens (RL) grundläggande koncept, roller och tillämpningar. Lär dig hur RL-ramverket fungerar och hur agenter och miljöer samverkar. Du får också lära dig att använda Gymnasium-biblioteket för att skapa miljöer, visualisera tillstånd och utföra åtgärder – och bygger på så sätt en praktisk grund inom RL.

Exercise 1: Grunderna i förstärkningsinlärning Exercise 2: Vad är förstärkningsinlärning?Exercise 3: RL jämfört med andra ML-delområden Exercise 4: Scenarier för att tillämpa RL Exercise 5: Navigating the RL framework Exercise 6: RL-interaktionsloop Exercise 7: Episodiska och kontinuerliga RL-uppgifter

Aktuell övning

Exercise 8: Beräkna diskonterade avkastningar för agentstrategier Exercise 9: Interagera med Gymnasium-miljöer Exercise 10: Konfigurera en Mountain Car-miljö Exercise 11: Visualisering av Mountain Car-miljön Exercise 12: Interagera med Frozen Lake-miljön

Fördjupa dig i RL med fokus på modellbaserad inlärning. Utforska Markovska beslutsprocesser (MDP) och förstå deras centrala komponenter. Bygg vidare på dina kunskaper om policyer och värdefunktioner. Lär dig att optimera policyer med hjälp av policyiteration och värdeiteration.

Exercise 1: Markov Decision Processes Exercise 2: MDP-komponenter för anpassad Frozen Lake Exercise 3: Utforska tillstånds- och handlingsutrymmen Exercise 4: Övergångssannolikheter och belöningar Exercise 5: Policyer och tillståndsvärdefunktioner Exercise 6: Definiera en deterministisk policy Exercise 7: Beräkna tillståndsvärden för en policy Exercise 8: Jämföra policyer Exercise 9: Aktionsvärdefunktioner Exercise 10: Beräkna Q-värden Exercise 11: Förbättra en policy Exercise 12: Policyiteration och värdeiteration Exercise 13: Tillämpa policyiteration för optimal policy Exercise 14: Implementera värdesiteration

Utforska den dynamiska världen av modellfri inlärning inom RL. Bekanta dig med Monte Carlo-metoder och tillämpa algoritmer för Monte Carlo-prediktion baserade på första och varje besök. Gå sedan vidare till temporal differensinlärning och SARSA-algoritmen. Slutligen dyker du ner i Q-inlärning och analyserar dess konvergens i krävande miljöer.

Exercise 1: Monte Carlo-metoder Exercise 2: Episodgenerering för Monte Carlo-metoder Exercise 3: Implementera first-visit Monte Carlo Exercise 4: Implementera Every-Visit Monte Carlo Exercise 5: Temporal difference-inlärning Exercise 6: Implementera SARSA-uppdateringsregeln Exercise 7: Lös 8x8 Frozen Lake med SARSA Exercise 8: Q-learning Exercise 9: Implementera Q-learnings uppdateringsregel Exercise 10: Lös 8x8 Frozen Lake med Q-inlärning Exercise 11: Utvärdering av policy på ett halt Frozen Lake

Fördjupa dig i avancerade strategier inom modellfri RL med fokus på att förbättra beslutsalgoritmer. Lär dig om Expected SARSA för mer träffsäkra policyuppdateringar och Double Q-inlärning för att minska överskattningsbias. Utforska avvägningen mellan utforskning och utnyttjande, och bemästra epsilon-giriga och epsilon-avklingande strategier för optimal aktionsval. Arbeta med det flerbenta banditproblemet och tillämpa strategier för beslutsfattande under osäkerhet.

Exercise 1: Expected SARSA Exercise 2: Uppdateringsregeln för Expected SARSA Exercise 3: Tillämpa Expected SARSA Exercise 4: Dubbel Q-inlärning Exercise 5: Implementera uppdateringsregeln för Double Q-learning Exercise 6: Tillämpa dubbel Q-inlärning Exercise 7: Balansera utforskning och utnyttjande Exercise 8: Definiera epsilon-greedy-funktionen Exercise 9: Lösa CliffWalking med epsilon-greedy-strategin Exercise 10: Lös CliffWalking med epsilon-girig strategi med avtagande epsilon Exercise 11: Flerspakiga banditer Exercise 12: Skapa ett multi-armat banditproblem Exercise 13: Lösa ett multi-armed bandit-problem Exercise 14: Utvärdera konvergens i ett multi-armed bandit-problem Exercise 15: Grattis!