Arhitectura rețelei Q

Ești aproape gata să antrenezi primul tău agent de Deep Reinforcement Learning! Înainte de a parcurge primul ciclu complet de antrenament, ai nevoie de o arhitectură de rețea neuronală care să ghideze deciziile agentului și capacitatea acestuia de a învăța.

Vei modifica arhitectura generică definită într-un exercițiu anterior. torch și torch.nn sunt deja importate în exercițiile tale.

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

Instrucțiuni pentru exercițiu

Instanțiază primul strat ascuns; intrarea sa va fi starea mediului, cu dimensiunea state_size.
Instanțiază stratul de ieșire; acesta furnizează valorile Q pentru fiecare acțiune, cu dimensiunea action_size.
Completează metoda forward(); folosește funcția de activare torch.relu pentru acest exemplu.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

class QNetwork(nn.Module):
    def __init__(self, state_size, action_size):
        super(QNetwork, self).__init__()
        # Instantiate the first hidden layer
        self.fc1 = nn.Linear(____, ____)
        self.fc2 = nn.Linear(64, 64)
        # Instantiate the output layer
        self.fc3 = nn.Linear(____, ____)
    def forward(self, state):
        # Ensure the ReLU activation function is used
        x = ____(self.fc1(torch.tensor(state)))
        x = ____(self.fc2(x))
        return self.fc3(x)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă cum Deep Reinforcement Learning îmbunătățește Reinforcement Learning clasic, studiind și implementând primul tău algoritm Deep Q-Learning.

Exercise 1: Introducere în învățarea profundă prin recompensă Exercise 2: Configurarea mediului și a rețelei neuronale Exercise 3: Bucla de antrenament DRL Exercise 4: Introducere în Deep Q Learning Exercise 5: Învățare profundă și DQN Exercise 6: Arhitectura rețelei Q

Exercițiul curent

Exercise 7: Instanțierea rețelei Q Exercise 8: Algoritmul DQN de bază Exercise 9: Selectarea acțiunii în DQN de bază Exercise 10: Funcția de pierdere pentru DQN de bază Exercise 11: Antrenarea DQN de bază

Aprofundează Deep Q-learning implementând algoritmul DQN original, cu Experience Replay, strategia epsilon-greedy și Q-target-uri fixe. Dincolo de DQN, vei explora două extensii importante care îmbunătățesc performanța și stabilitatea Deep Q-learning-ului: Double DQN și Prioritized Experience Replay.

Exercise 1: DQN cu experience replay Exercise 2: Coada dublă (deque)Exercise 3: Buffer de memorie pentru Experience Replay Exercise 4: DQN cu Experience Replay Exercise 5: Algoritmul DQN complet Exercise 6: Epsilon-greedy Exercise 7: Q-ținte fixe Exercise 8: Implementarea algoritmului DQN complet Exercise 9: Double DQN Exercise 10: Rețeaua online și rețeaua țintă în DDQN Exercise 11: Antrenarea Double DQN Exercise 12: Reluarea experienței prioritizate Exercise 13: Buffer de experience replay prioritizat Exercise 14: Eșantionarea din bufferul PER Exercise 15: DQN cu Prioritized Experience Replay

Învață conceptele fundamentale ale metodelor policy gradient din DRL. Vei începe cu teorema policy gradient, care stă la baza acestor metode. Apoi vei implementa algoritmul REINFORCE, o abordare eficientă pentru învățarea politicilor. Capitolul te va ghida prin metodele Actor-Critic, cu accent pe algoritmul Advantage Actor-Critic (A2C), care combină punctele forte ale metodelor policy gradient și ale celor bazate pe valori, pentru a îmbunătăți eficiența și stabilitatea învățării.

Exercise 1: Introducere în policy gradient Exercise 2: Arhitectura rețelei de politici Exercise 3: Lucrul cu distribuții discrete Exercise 4: Gradientul politicii și REINFORCE Exercise 5: Selectarea acțiunilor în REINFORCE Exercise 6: Antrenarea algoritmului REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Rețeaua Critic Exercise 9: Calculul pierderilor Actor-Critic Exercise 10: Antrenarea algoritmului A2C

Explorează Proximal Policy Optimization (PPO) pentru performanță robustă în DRL. Vei analiza utilizarea unui bonus de entropie în PPO, care încurajează explorarea și previne convergența prematură către politici deterministe. Vei învăța, de asemenea, despre actualizările pe loturi în metodele policy gradient. În final, vei descoperi optimizarea hiperparametrilor cu Optuna, un instrument puternic pentru maximizarea performanței modelelor DRL.

Exercise 1: Optimizarea politicii proximale Exercise 2: Raportul de probabilitate cu clipping Exercise 3: Funcția obiectiv surogat clipeată Exercise 4: Bonus de entropie și PPO Exercise 5: Explorarea entropiei Exercise 6: Antrenarea algoritmului PPO Exercise 7: Actualizări în loturi în policy gradient Exercise 8: Minibatch și DRL Exercise 9: A2C cu actualizări pe batch Exercise 10: Optimizarea hiperparametrilor cu Optuna Exercise 11: Hiperparametru sau nu?Exercise 12: Practică cu Optuna Exercise 13: Felicitări!