Rețeaua online și rețeaua țintă în DDQN

În Double DQN, ca și în DQN cu Q-ținte fixe, există două rețele neuronale implicate: rețeaua online și rețeaua țintă. Este important să înțelegi rolul fiecăreia și modul în care contribuie la bucla de antrenament DDQN.

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă cum Deep Reinforcement Learning îmbunătățește Reinforcement Learning clasic, studiind și implementând primul tău algoritm Deep Q-Learning.

Exercise 1: Introducere în învățarea profundă prin recompensă Exercise 2: Configurarea mediului și a rețelei neuronale Exercise 3: Bucla de antrenament DRL Exercise 4: Introducere în Deep Q Learning Exercise 5: Învățare profundă și DQN Exercise 6: Arhitectura rețelei Q Exercise 7: Instanțierea rețelei Q Exercise 8: Algoritmul DQN de bază Exercise 9: Selectarea acțiunii în DQN de bază Exercise 10: Funcția de pierdere pentru DQN de bază Exercise 11: Antrenarea DQN de bază

Aprofundează Deep Q-learning implementând algoritmul DQN original, cu Experience Replay, strategia epsilon-greedy și Q-target-uri fixe. Dincolo de DQN, vei explora două extensii importante care îmbunătățesc performanța și stabilitatea Deep Q-learning-ului: Double DQN și Prioritized Experience Replay.

Exercise 1: DQN cu experience replay Exercise 2: Coada dublă (deque)Exercise 3: Buffer de memorie pentru Experience Replay Exercise 4: DQN cu Experience Replay Exercise 5: Algoritmul DQN complet Exercise 6: Epsilon-greedy Exercise 7: Q-ținte fixe Exercise 8: Implementarea algoritmului DQN complet Exercise 9: Double DQN Exercise 10: Rețeaua online și rețeaua țintă în DDQN

Exercițiul curent

Exercise 11: Antrenarea Double DQN Exercise 12: Reluarea experienței prioritizate Exercise 13: Buffer de experience replay prioritizat Exercise 14: Eșantionarea din bufferul PER Exercise 15: DQN cu Prioritized Experience Replay

Învață conceptele fundamentale ale metodelor policy gradient din DRL. Vei începe cu teorema policy gradient, care stă la baza acestor metode. Apoi vei implementa algoritmul REINFORCE, o abordare eficientă pentru învățarea politicilor. Capitolul te va ghida prin metodele Actor-Critic, cu accent pe algoritmul Advantage Actor-Critic (A2C), care combină punctele forte ale metodelor policy gradient și ale celor bazate pe valori, pentru a îmbunătăți eficiența și stabilitatea învățării.

Exercise 1: Introducere în policy gradient Exercise 2: Arhitectura rețelei de politici Exercise 3: Lucrul cu distribuții discrete Exercise 4: Gradientul politicii și REINFORCE Exercise 5: Selectarea acțiunilor în REINFORCE Exercise 6: Antrenarea algoritmului REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Rețeaua Critic Exercise 9: Calculul pierderilor Actor-Critic Exercise 10: Antrenarea algoritmului A2C

Explorează Proximal Policy Optimization (PPO) pentru performanță robustă în DRL. Vei analiza utilizarea unui bonus de entropie în PPO, care încurajează explorarea și previne convergența prematură către politici deterministe. Vei învăța, de asemenea, despre actualizările pe loturi în metodele policy gradient. În final, vei descoperi optimizarea hiperparametrilor cu Optuna, un instrument puternic pentru maximizarea performanței modelelor DRL.

Exercise 1: Optimizarea politicii proximale Exercise 2: Raportul de probabilitate cu clipping Exercise 3: Funcția obiectiv surogat clipeată Exercise 4: Bonus de entropie și PPO Exercise 5: Explorarea entropiei Exercise 6: Antrenarea algoritmului PPO Exercise 7: Actualizări în loturi în policy gradient Exercise 8: Minibatch și DRL Exercise 9: A2C cu actualizări pe batch Exercise 10: Optimizarea hiperparametrilor cu Optuna Exercise 11: Hiperparametru sau nu?Exercise 12: Practică cu Optuna Exercise 13: Felicitări!