DQN cu Experience Replay

Acum vei introduce Experience Replay pentru a antrena un agent folosind o Rețea Q Profundă (Deep Q Network). Vei utiliza același mediu Lunar Lander ca cel folosit pentru a construi DQN-ul de bază.

La fiecare pas, în loc să folosești doar informațiile din cea mai recentă tranziție pentru a actualiza rețeaua, bufferul de Experience Replay îi permite agentului să învețe dintr-un lot aleatoriu de experiențe recente. Aceasta îmbunătățește considerabil capacitatea sa de a înțelege mediul.

Clasele QNetwork și ReplayBuffer din exercițiile anterioare îți sunt disponibile și au fost instanțiate astfel:

q_network = QNetwork(8, 4)
replay_buffer = ReplayBuffer(10000)

Funcția describe_episode() este, de asemenea, disponibilă pentru a descrie metricile la finalul fiecărui episod.

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

for episode in range(10):
    state, info = env.reset()
    done = False
    step = 0
    episode_reward = 0
    while not done:
        step += 1
        q_values = q_network(state)        
        action = torch.argmax(q_values).item()
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        # Store the latest experience in the replay buffer
        replay_buffer.____        
        state = next_state
        episode_reward += reward    
    describe_episode(episode, reward, episode_reward, step)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă cum Deep Reinforcement Learning îmbunătățește Reinforcement Learning clasic, studiind și implementând primul tău algoritm Deep Q-Learning.

Exercise 1: Introducere în învățarea profundă prin recompensă Exercise 2: Configurarea mediului și a rețelei neuronale Exercise 3: Bucla de antrenament DRL Exercise 4: Introducere în Deep Q Learning Exercise 5: Învățare profundă și DQN Exercise 6: Arhitectura rețelei Q Exercise 7: Instanțierea rețelei Q Exercise 8: Algoritmul DQN de bază Exercise 9: Selectarea acțiunii în DQN de bază Exercise 10: Funcția de pierdere pentru DQN de bază Exercise 11: Antrenarea DQN de bază

Aprofundează Deep Q-learning implementând algoritmul DQN original, cu Experience Replay, strategia epsilon-greedy și Q-target-uri fixe. Dincolo de DQN, vei explora două extensii importante care îmbunătățesc performanța și stabilitatea Deep Q-learning-ului: Double DQN și Prioritized Experience Replay.

Exercise 1: DQN cu experience replay Exercise 2: Coada dublă (deque)Exercise 3: Buffer de memorie pentru Experience Replay Exercise 4: DQN cu Experience Replay

Exercițiul curent

Exercise 5: Algoritmul DQN complet Exercise 6: Epsilon-greedy Exercise 7: Q-ținte fixe Exercise 8: Implementarea algoritmului DQN complet Exercise 9: Double DQN Exercise 10: Rețeaua online și rețeaua țintă în DDQN Exercise 11: Antrenarea Double DQN Exercise 12: Reluarea experienței prioritizate Exercise 13: Buffer de experience replay prioritizat Exercise 14: Eșantionarea din bufferul PER Exercise 15: DQN cu Prioritized Experience Replay

Învață conceptele fundamentale ale metodelor policy gradient din DRL. Vei începe cu teorema policy gradient, care stă la baza acestor metode. Apoi vei implementa algoritmul REINFORCE, o abordare eficientă pentru învățarea politicilor. Capitolul te va ghida prin metodele Actor-Critic, cu accent pe algoritmul Advantage Actor-Critic (A2C), care combină punctele forte ale metodelor policy gradient și ale celor bazate pe valori, pentru a îmbunătăți eficiența și stabilitatea învățării.

Exercise 1: Introducere în policy gradient Exercise 2: Arhitectura rețelei de politici Exercise 3: Lucrul cu distribuții discrete Exercise 4: Gradientul politicii și REINFORCE Exercise 5: Selectarea acțiunilor în REINFORCE Exercise 6: Antrenarea algoritmului REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Rețeaua Critic Exercise 9: Calculul pierderilor Actor-Critic Exercise 10: Antrenarea algoritmului A2C

Explorează Proximal Policy Optimization (PPO) pentru performanță robustă în DRL. Vei analiza utilizarea unui bonus de entropie în PPO, care încurajează explorarea și previne convergența prematură către politici deterministe. Vei învăța, de asemenea, despre actualizările pe loturi în metodele policy gradient. În final, vei descoperi optimizarea hiperparametrilor cu Optuna, un instrument puternic pentru maximizarea performanței modelelor DRL.

Exercise 1: Optimizarea politicii proximale Exercise 2: Raportul de probabilitate cu clipping Exercise 3: Funcția obiectiv surogat clipeată Exercise 4: Bonus de entropie și PPO Exercise 5: Explorarea entropiei Exercise 6: Antrenarea algoritmului PPO Exercise 7: Actualizări în loturi în policy gradient Exercise 8: Minibatch și DRL Exercise 9: A2C cu actualizări pe batch Exercise 10: Optimizarea hiperparametrilor cu Optuna Exercise 11: Hiperparametru sau nu?Exercise 12: Practică cu Optuna Exercise 13: Felicitări!