Fasta Q-mål

Du förbereder träningen av din Lunar Lander med fasta Q-mål. Som ett första steg behöver du skapa både online-nätverket (som väljer åtgärden) och målnätverket (som används för att beräkna TD-målet).

Du behöver också implementera en funktion update_target_network som kan anropas vid varje träningssteg. Målnätverket uppdateras inte via gradientberäkning – i stället justerar update_target_network dess vikter stegvis mot Q-nätverkets vikter, vilket gör att det förblir stabilt över tid.

Observera att du i den här övningen använder ett mycket litet nätverk så att vi enkelt kan skriva ut och granska dess state dict. Det har bara ett dolt lager av storlek två, och både åtgärdsrymden och tillståndsrymden är av dimension 2.

Funktionen print_state_dict() finns tillgänglig i din miljö för att skriva ut state dict.

Den här övningen är en del av kursen

Djup förstärkningsinlärning i Python

Övningsinstruktioner

Hämta .state_dict() för både målnätverket och online-nätverket.
Uppdatera state dict för målnätverket genom att beräkna ett vägt medelvärde mellan parametrarna i online-nätverket och målnätverket, där tau används som vikt för online-nätverket.
Läs in den uppdaterade state dict tillbaka i målnätverket.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

def update_target_network(target_network, online_network, tau):
    # Obtain the state dicts for both networks
    target_net_state_dict = ____
    online_net_state_dict = ____
    for key in online_net_state_dict:
        # Calculate the updated state dict for the target network
        target_net_state_dict[key] = (online_net_state_dict[____] * ____ + target_net_state_dict[____] * ____)
        # Load the updated state dict into the target network
        target_network.____
    return None
  
print("online network weights:", print_state_dict(online_network))
print("target network weights (pre-update):", print_state_dict(target_network))
update_target_network(target_network, online_network, .001)
print("target network weights (post-update):", print_state_dict(target_network))

Redigera och kör kod

Den här övningen är en del av kursen

Djup förstärkningsinlärning i Python

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Upptäck hur djup förstärkningsinlärning förbättrar traditionell förstärkningsinlärning, och implementera din första djupa Q-inlärningsalgoritm.

Exercise 1: Introduktion till djup förstärkningsinlärning Exercise 2: Miljö- och neuralt nätverksinställning Exercise 3: DRL-träningsloop Exercise 4: Introduktion till djup Q-inlärning Exercise 5: Djupinlärning och DQN Exercise 6: Q-nätverkets arkitektur Exercise 7: Instansiera Q-nätverket Exercise 8: Den grundläggande DQN-algoritmen Exercise 9: Aktionsval med barebones DQN Exercise 10: Förlustfunktion för ett grundläggande DQN Exercise 11: Träna det grundläggande DQN-nätverket

Fördjupa dig i djup Q-inlärning genom att implementera den ursprungliga DQN-algoritmen med Experience Replay, epsilon-girighet och fasta Q-mål. Därefter utforskar du två intressanta utökningar som förbättrar prestanda och stabilitet i djup Q-inlärning: Double DQN och Prioritized Experience Replay.

Exercise 1: DQN med erfarenhetsåteruppspelning Exercise 2: Kön med dubbla ändar Exercise 3: Replay-buffer för erfarenheter Exercise 4: DQN med Experience Replay Exercise 5: Den kompletta DQN-algoritmen Exercise 6: Epsilon-girighet Exercise 7: Fasta Q-mål

Aktuell övning

Exercise 8: Implementera den fullständiga DQN-algoritmen Exercise 9: Double DQN Exercise 10: Online-nätverk och målnätverk i DDQN Exercise 11: Träna dubbel-DQN Exercise 12: Prioritized experience replay Exercise 13: Prioriterad erfarenhetsbuffert Exercise 14: Sampling från PER-bufferten Exercise 15: DQN med prioriterat erfarenhetsuppspelning

Lär dig de grundläggande begreppen inom policygradientmetoder i DRL. Du börjar med policygradientteoremet, som utgör grunden för dessa metoder, och implementerar sedan REINFORCE-algoritmen – en kraftfull metod för att lära in policyer. Kapitlet leder dig sedan vidare till Actor-Critic-metoder, med fokus på Advantage Actor-Critic-algoritmen (A2C), som kombinerar styrkan hos både policygradient- och värdebaserade metoder för att förbättra inlärningens effektivitet och stabilitet.

Exercise 1: Introduktion till policy gradient Exercise 2: Policynätverkets arkitektur Exercise 3: Arbeta med diskreta fördelningar Exercise 4: Policy gradient och REINFORCE Exercise 5: Handlingsval i REINFORCE Exercise 6: Träna REINFORCE-algoritmen Exercise 7: Advantage Actor-Critic Exercise 8: Critic-nätverk Exercise 9: Förlustberäkningar för Actor-Critic Exercise 10: Träna A2C-algoritmen

Utforska Proximal Policy Optimization (PPO) för robust DRL-prestanda. Du undersöker sedan hur en entropibonus i PPO uppmuntrar utforskning genom att förhindra att modellen för tidigt låser sig till deterministiska policyer. Du lär dig också om batchuppdateringar i policygradientmetoder. Avslutningsvis går vi igenom hyperparameteroptimering med Optuna – ett kraftfullt verktyg för att optimera prestandan i dina DRL-modeller.

Exercise 1: Proximal policy optimization Exercise 2: Det klippta sannolikhetskvoten Exercise 3: Den klippta surrogat-målfunktionen Exercise 4: Entropibonus och PPO Exercise 5: Utforska entropi Exercise 6: Träna PPO-algoritmen Exercise 7: Batchuppdateringar i policy gradient Exercise 8: Minibatch och DRL Exercise 9: A2C med batchuppdateringar Exercise 10: Hyperparameteroptimering med Optuna Exercise 11: Hyperparameter eller inte?Exercise 12: Praktisk övning med Optuna Exercise 13: Grattis!