Online-nätverk och målnätverk i DDQN

I Double DQN, precis som i DQN med fasta Q-mål, används två neurala nätverk: online-nätverket och målnätverket. Det är viktigt att förstå deras respektive syften och vilken roll de spelar i DDQN:s träningsloop.

Den här övningen är en del av kursen

Djup förstärkningsinlärning i Python

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Djup förstärkningsinlärning i Python

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Upptäck hur djup förstärkningsinlärning förbättrar traditionell förstärkningsinlärning, och implementera din första djupa Q-inlärningsalgoritm.

Exercise 1: Introduktion till djup förstärkningsinlärning Exercise 2: Miljö- och neuralt nätverksinställning Exercise 3: DRL-träningsloop Exercise 4: Introduktion till djup Q-inlärning Exercise 5: Djupinlärning och DQN Exercise 6: Q-nätverkets arkitektur Exercise 7: Instansiera Q-nätverket Exercise 8: Den grundläggande DQN-algoritmen Exercise 9: Aktionsval med barebones DQN Exercise 10: Förlustfunktion för ett grundläggande DQN Exercise 11: Träna det grundläggande DQN-nätverket

Fördjupa dig i djup Q-inlärning genom att implementera den ursprungliga DQN-algoritmen med Experience Replay, epsilon-girighet och fasta Q-mål. Därefter utforskar du två intressanta utökningar som förbättrar prestanda och stabilitet i djup Q-inlärning: Double DQN och Prioritized Experience Replay.

Exercise 1: DQN med erfarenhetsåteruppspelning Exercise 2: Kön med dubbla ändar Exercise 3: Replay-buffer för erfarenheter Exercise 4: DQN med Experience Replay Exercise 5: Den kompletta DQN-algoritmen Exercise 6: Epsilon-girighet Exercise 7: Fasta Q-mål Exercise 8: Implementera den fullständiga DQN-algoritmen Exercise 9: Double DQN Exercise 10: Online-nätverk och målnätverk i DDQN

Aktuell övning

Exercise 11: Träna dubbel-DQN Exercise 12: Prioritized experience replay Exercise 13: Prioriterad erfarenhetsbuffert Exercise 14: Sampling från PER-bufferten Exercise 15: DQN med prioriterat erfarenhetsuppspelning

Lär dig de grundläggande begreppen inom policygradientmetoder i DRL. Du börjar med policygradientteoremet, som utgör grunden för dessa metoder, och implementerar sedan REINFORCE-algoritmen – en kraftfull metod för att lära in policyer. Kapitlet leder dig sedan vidare till Actor-Critic-metoder, med fokus på Advantage Actor-Critic-algoritmen (A2C), som kombinerar styrkan hos både policygradient- och värdebaserade metoder för att förbättra inlärningens effektivitet och stabilitet.

Exercise 1: Introduktion till policy gradient Exercise 2: Policynätverkets arkitektur Exercise 3: Arbeta med diskreta fördelningar Exercise 4: Policy gradient och REINFORCE Exercise 5: Handlingsval i REINFORCE Exercise 6: Träna REINFORCE-algoritmen Exercise 7: Advantage Actor-Critic Exercise 8: Critic-nätverk Exercise 9: Förlustberäkningar för Actor-Critic Exercise 10: Träna A2C-algoritmen

Utforska Proximal Policy Optimization (PPO) för robust DRL-prestanda. Du undersöker sedan hur en entropibonus i PPO uppmuntrar utforskning genom att förhindra att modellen för tidigt låser sig till deterministiska policyer. Du lär dig också om batchuppdateringar i policygradientmetoder. Avslutningsvis går vi igenom hyperparameteroptimering med Optuna – ett kraftfullt verktyg för att optimera prestandan i dina DRL-modeller.

Exercise 1: Proximal policy optimization Exercise 2: Det klippta sannolikhetskvoten Exercise 3: Den klippta surrogat-målfunktionen Exercise 4: Entropibonus och PPO Exercise 5: Utforska entropi Exercise 6: Träna PPO-algoritmen Exercise 7: Batchuppdateringar i policy gradient Exercise 8: Minibatch och DRL Exercise 9: A2C med batchuppdateringar Exercise 10: Hyperparameteroptimering med Optuna Exercise 11: Hyperparameter eller inte?Exercise 12: Praktisk övning med Optuna Exercise 13: Grattis!