Vytvoření instance Q-Network

Teď, když máš architekturu definovanou, můžeš vytvořit samotnou síť, kterou bude tvůj agent používat, a nastavit k ní optimalizátor. Prostředí Lunar Lander má stavový prostor o dimenzi 8 a akční prostor o dimenzi 4 (odpovídající akcím 0: do nothing, 1: left thruster, 2: main engine, 3: right thruster).

Třída QNetwork z předchozího cvičení je k dispozici.

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

Pokyny k cvičení

Vytvoř instanci Q-Network pro prostředí Lunar Lander.
Definuj optimalizátor Adam pro neuronovou síť a nastav rychlost učení na 0.0001.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

state_size = 8
action_size = 4
# Instantiate the Q Network
q_network = QNetwork(____, ____)
# Specify the optimizer learning rate
optimizer = optim.Adam(q_network.parameters(), ____)

print("Q-Network initialized as:\n", q_network)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

Zjisti, jak hluboké zpětnovazební učení překonává tradiční zpětnovazební učení, a implementuj svůj první algoritmus Deep Q Learning.

Exercise 1: Úvod do deep reinforcement learningu Exercise 2: Nastavení prostředí a neuronové sítě Exercise 3: Tréninková smyčka DRL Exercise 4: Úvod do deep Q learningu Exercise 5: Deep learning a DQN Exercise 6: Architektura Q-sítě Exercise 7: Vytvoření instance Q-Network

Aktuální cvičení

Exercise 8: Základní algoritmus DQN Exercise 9: Výběr akce v základním DQN Exercise 10: Ztrátová funkce základního DQN Exercise 11: Trénování základního DQN

Ponořil/a ses do hlubokého Q-učení a implementuješ původní algoritmus DQN, který zahrnuje Experience Replay, epsilon-greedy strategii a fixní Q-targety. Kromě DQN prozkoumáš také dvě zajímavá rozšíření, která zlepšují výkon a stabilitu hlubokého Q-učení: Double DQN a Prioritized Experience Replay.

Exercise 1: DQN s experience replay Exercise 2: Fronta s dvojitým koncem Exercise 3: Buffer pro experience replay Exercise 4: DQN s experience replay Exercise 5: Kompletní algoritmus DQN Exercise 6: Epsilon-hladovost Exercise 7: Fixní Q-targety Exercise 8: Implementace kompletního algoritmu DQN Exercise 9: Double DQN Exercise 10: Online síť a cílová síť v DDQN Exercise 11: Trénování double DQN Exercise 12: Prioritized experience replay Exercise 13: Buffer pro Prioritized Experience Replay Exercise 14: Vzorkování z PER bufferu Exercise 15: DQN s prioritizovaným experience replay

Seznámíš se se základními koncepty metod gradientu politiky v DRL. Začneš větou o gradientu politiky, která tvoří základ těchto metod. Pak implementuješ algoritmus REINFORCE, výkonný přístup k učení politik. Kapitola tě poté provede metodami Actor-Critic se zaměřením na algoritmus Advantage Actor-Critic (A2C), který kombinuje silné stránky gradientu politiky i hodnotových metod pro vyšší efektivitu a stabilitu učení.

Exercise 1: Úvod do policy gradient Exercise 2: Architektura policy network Exercise 3: Práce s diskrétními rozděleními Exercise 4: Policy gradient a REINFORCE Exercise 5: Výběr akce v algoritmu REINFORCE Exercise 6: Trénink algoritmu REINFORCE Exercise 7: Advantage Actor Critic Exercise 8: Síť kritika Exercise 9: Výpočet ztrát Actor-Critic Exercise 10: Trénování algoritmu A2C

Prozkoumej Proximal Policy Optimization (PPO) pro spolehlivý výkon DRL. Pak se podíváš na použití entropického bonusu v PPO, který podporuje průzkum prostředí a brání předčasné konvergenci k deterministickým politikám. Dozvíš se také o dávkových aktualizacích v metodách gradientu politiky. Na závěr se naučíš optimalizovat hyperparametry pomocí Optuny – výkonného nástroje pro ladění výkonu DRL modelů.

Exercise 1: Proximal policy optimization Exercise 2: Oříznutý poměr pravděpodobností Exercise 3: Oříznutá náhradní objektivní funkce Exercise 4: Entropický bonus a PPO Exercise 5: Hraní si s entropií Exercise 6: Trénování algoritmu PPO Exercise 7: Dávkové aktualizace v policy gradient metodách Exercise 8: Minibatch a DRL Exercise 9: A2C s dávkovými aktualizacemi Exercise 10: Optimalizace hyperparametrů s Optunou Exercise 11: Hyperparametr, nebo ne?Exercise 12: Optuna v praxi Exercise 13: Gratulujeme!