Online síť a cílová síť v DDQN

V Double DQN, stejně jako v DQN s fixními Q-cíly, pracují dvě neuronové sítě: online síť a cílová síť. Je důležité pochopit jejich jednotlivé funkce a roli, kterou hrají v tréninkovém cyklu DDQN.

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

Zjisti, jak hluboké zpětnovazební učení překonává tradiční zpětnovazební učení, a implementuj svůj první algoritmus Deep Q Learning.

Exercise 1: Úvod do deep reinforcement learningu Exercise 2: Nastavení prostředí a neuronové sítě Exercise 3: Tréninková smyčka DRL Exercise 4: Úvod do deep Q learningu Exercise 5: Deep learning a DQN Exercise 6: Architektura Q-sítě Exercise 7: Vytvoření instance Q-Network Exercise 8: Základní algoritmus DQN Exercise 9: Výběr akce v základním DQN Exercise 10: Ztrátová funkce základního DQN Exercise 11: Trénování základního DQN

Ponořil/a ses do hlubokého Q-učení a implementuješ původní algoritmus DQN, který zahrnuje Experience Replay, epsilon-greedy strategii a fixní Q-targety. Kromě DQN prozkoumáš také dvě zajímavá rozšíření, která zlepšují výkon a stabilitu hlubokého Q-učení: Double DQN a Prioritized Experience Replay.

Exercise 1: DQN s experience replay Exercise 2: Fronta s dvojitým koncem Exercise 3: Buffer pro experience replay Exercise 4: DQN s experience replay Exercise 5: Kompletní algoritmus DQN Exercise 6: Epsilon-hladovost Exercise 7: Fixní Q-targety Exercise 8: Implementace kompletního algoritmu DQN Exercise 9: Double DQN Exercise 10: Online síť a cílová síť v DDQN

Aktuální cvičení

Exercise 11: Trénování double DQN Exercise 12: Prioritized experience replay Exercise 13: Buffer pro Prioritized Experience Replay Exercise 14: Vzorkování z PER bufferu Exercise 15: DQN s prioritizovaným experience replay

Seznámíš se se základními koncepty metod gradientu politiky v DRL. Začneš větou o gradientu politiky, která tvoří základ těchto metod. Pak implementuješ algoritmus REINFORCE, výkonný přístup k učení politik. Kapitola tě poté provede metodami Actor-Critic se zaměřením na algoritmus Advantage Actor-Critic (A2C), který kombinuje silné stránky gradientu politiky i hodnotových metod pro vyšší efektivitu a stabilitu učení.

Exercise 1: Úvod do policy gradient Exercise 2: Architektura policy network Exercise 3: Práce s diskrétními rozděleními Exercise 4: Policy gradient a REINFORCE Exercise 5: Výběr akce v algoritmu REINFORCE Exercise 6: Trénink algoritmu REINFORCE Exercise 7: Advantage Actor Critic Exercise 8: Síť kritika Exercise 9: Výpočet ztrát Actor-Critic Exercise 10: Trénování algoritmu A2C

Prozkoumej Proximal Policy Optimization (PPO) pro spolehlivý výkon DRL. Pak se podíváš na použití entropického bonusu v PPO, který podporuje průzkum prostředí a brání předčasné konvergenci k deterministickým politikám. Dozvíš se také o dávkových aktualizacích v metodách gradientu politiky. Na závěr se naučíš optimalizovat hyperparametry pomocí Optuny – výkonného nástroje pro ladění výkonu DRL modelů.

Exercise 1: Proximal policy optimization Exercise 2: Oříznutý poměr pravděpodobností Exercise 3: Oříznutá náhradní objektivní funkce Exercise 4: Entropický bonus a PPO Exercise 5: Hraní si s entropií Exercise 6: Trénování algoritmu PPO Exercise 7: Dávkové aktualizace v policy gradient metodách Exercise 8: Minibatch a DRL Exercise 9: A2C s dávkovými aktualizacemi Exercise 10: Optimalizace hyperparametrů s Optunou Exercise 11: Hyperparametr, nebo ne?Exercise 12: Optuna v praxi Exercise 13: Gratulujeme!