Fixní Q-targety

Chystáš se trénovat Lunar Lander s fixními Q-targety. Nejprve je potřeba vytvořit online síť (která vybírá akci) i cílovou síť (používanou pro výpočet TD-targetu).

Musíš také implementovat funkci update_target_network, kterou budeš volat při každém tréninkovém kroku. Cílová síť se neaktualizuje gradientním sestupem – místo toho ji update_target_network postupně přibližuje váhám Q-sítě o malý krok, takže zůstává v čase stabilní.

Pozor: jen pro toto cvičení pracuješ s velmi malou sítí, aby bylo snadné vypsat a prozkoumat její state dict. Má jedinou skrytou vrstvu o velikosti 2; action space i state space mají také dimenzi 2.

Funkce print_state_dict() je v prostředí k dispozici pro výpis state dictu.

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

Pokyny k cvičení

Získej .state_dict() jak cílové, tak online sítě.
Aktualizuj state dict cílové sítě jako vážený průměr parametrů online sítě a cílové sítě – jako váhu online sítě použij tau.
Načti aktualizovaný state dict zpět do cílové sítě.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

def update_target_network(target_network, online_network, tau):
    # Obtain the state dicts for both networks
    target_net_state_dict = ____
    online_net_state_dict = ____
    for key in online_net_state_dict:
        # Calculate the updated state dict for the target network
        target_net_state_dict[key] = (online_net_state_dict[____] * ____ + target_net_state_dict[____] * ____)
        # Load the updated state dict into the target network
        target_network.____
    return None
  
print("online network weights:", print_state_dict(online_network))
print("target network weights (pre-update):", print_state_dict(target_network))
update_target_network(target_network, online_network, .001)
print("target network weights (post-update):", print_state_dict(target_network))

Upravit a spustit kód

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

Zjisti, jak hluboké zpětnovazební učení překonává tradiční zpětnovazební učení, a implementuj svůj první algoritmus Deep Q Learning.

Exercise 1: Úvod do deep reinforcement learningu Exercise 2: Nastavení prostředí a neuronové sítě Exercise 3: Tréninková smyčka DRL Exercise 4: Úvod do deep Q learningu Exercise 5: Deep learning a DQN Exercise 6: Architektura Q-sítě Exercise 7: Vytvoření instance Q-Network Exercise 8: Základní algoritmus DQN Exercise 9: Výběr akce v základním DQN Exercise 10: Ztrátová funkce základního DQN Exercise 11: Trénování základního DQN

Ponořil/a ses do hlubokého Q-učení a implementuješ původní algoritmus DQN, který zahrnuje Experience Replay, epsilon-greedy strategii a fixní Q-targety. Kromě DQN prozkoumáš také dvě zajímavá rozšíření, která zlepšují výkon a stabilitu hlubokého Q-učení: Double DQN a Prioritized Experience Replay.

Exercise 1: DQN s experience replay Exercise 2: Fronta s dvojitým koncem Exercise 3: Buffer pro experience replay Exercise 4: DQN s experience replay Exercise 5: Kompletní algoritmus DQN Exercise 6: Epsilon-hladovost Exercise 7: Fixní Q-targety

Aktuální cvičení

Exercise 8: Implementace kompletního algoritmu DQN Exercise 9: Double DQN Exercise 10: Online síť a cílová síť v DDQN Exercise 11: Trénování double DQN Exercise 12: Prioritized experience replay Exercise 13: Buffer pro Prioritized Experience Replay Exercise 14: Vzorkování z PER bufferu Exercise 15: DQN s prioritizovaným experience replay

Seznámíš se se základními koncepty metod gradientu politiky v DRL. Začneš větou o gradientu politiky, která tvoří základ těchto metod. Pak implementuješ algoritmus REINFORCE, výkonný přístup k učení politik. Kapitola tě poté provede metodami Actor-Critic se zaměřením na algoritmus Advantage Actor-Critic (A2C), který kombinuje silné stránky gradientu politiky i hodnotových metod pro vyšší efektivitu a stabilitu učení.

Exercise 1: Úvod do policy gradient Exercise 2: Architektura policy network Exercise 3: Práce s diskrétními rozděleními Exercise 4: Policy gradient a REINFORCE Exercise 5: Výběr akce v algoritmu REINFORCE Exercise 6: Trénink algoritmu REINFORCE Exercise 7: Advantage Actor Critic Exercise 8: Síť kritika Exercise 9: Výpočet ztrát Actor-Critic Exercise 10: Trénování algoritmu A2C

Prozkoumej Proximal Policy Optimization (PPO) pro spolehlivý výkon DRL. Pak se podíváš na použití entropického bonusu v PPO, který podporuje průzkum prostředí a brání předčasné konvergenci k deterministickým politikám. Dozvíš se také o dávkových aktualizacích v metodách gradientu politiky. Na závěr se naučíš optimalizovat hyperparametry pomocí Optuny – výkonného nástroje pro ladění výkonu DRL modelů.

Exercise 1: Proximal policy optimization Exercise 2: Oříznutý poměr pravděpodobností Exercise 3: Oříznutá náhradní objektivní funkce Exercise 4: Entropický bonus a PPO Exercise 5: Hraní si s entropií Exercise 6: Trénování algoritmu PPO Exercise 7: Dávkové aktualizace v policy gradient metodách Exercise 8: Minibatch a DRL Exercise 9: A2C s dávkovými aktualizacemi Exercise 10: Optimalizace hyperparametrů s Optunou Exercise 11: Hyperparametr, nebo ne?Exercise 12: Optuna v praxi Exercise 13: Gratulujeme!