Rețeaua Critic

Metodele Actor-Critic necesită două rețele neuronale cu arhitecturi foarte diferite.

Arhitectura rețelei actor este identică cu cea a rețelei de politică utilizate pentru REINFORCE, așadar poți reutiliza clasa PolicyNetwork.

Însă rețeaua critic este ceva ce nu ai implementat până acum. Critic-ul urmărește să aproximeze funcția de valoare a stării \(V(s_t)\), în loc de funcția de valoare a acțiunii \(Q(s_t, a_t)\) aproximată de Q-Networks.

Vei implementa acum modulul rețelei Critic, pe care îl vei folosi în A2C.

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

Instrucțiuni pentru exercițiu

Completează dimensiunea dorită pentru al doilea strat complet conectat, astfel încât acesta să returneze o singură valoare a stării.
Obține valoarea returnată de pasul înainte (forward pass) prin rețeaua critic.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

class Critic(nn.Module):
    def __init__(self, state_size):
        super(Critic, self).__init__()
        self.fc1 = nn.Linear(state_size, 64)
        # Fill in the desired dimensions
        self.fc2 = nn.Linear(____)

    def forward(self, state):
        x = torch.relu(self.fc1(torch.tensor(state)))
        # Calculate the output value
        value = ____
        return value

critic_network = Critic(8)
state_value = critic_network(torch.rand(8))
print('State value:', state_value)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă cum Deep Reinforcement Learning îmbunătățește Reinforcement Learning clasic, studiind și implementând primul tău algoritm Deep Q-Learning.

Exercise 1: Introducere în învățarea profundă prin recompensă Exercise 2: Configurarea mediului și a rețelei neuronale Exercise 3: Bucla de antrenament DRL Exercise 4: Introducere în Deep Q Learning Exercise 5: Învățare profundă și DQN Exercise 6: Arhitectura rețelei Q Exercise 7: Instanțierea rețelei Q Exercise 8: Algoritmul DQN de bază Exercise 9: Selectarea acțiunii în DQN de bază Exercise 10: Funcția de pierdere pentru DQN de bază Exercise 11: Antrenarea DQN de bază

Aprofundează Deep Q-learning implementând algoritmul DQN original, cu Experience Replay, strategia epsilon-greedy și Q-target-uri fixe. Dincolo de DQN, vei explora două extensii importante care îmbunătățesc performanța și stabilitatea Deep Q-learning-ului: Double DQN și Prioritized Experience Replay.

Exercise 1: DQN cu experience replay Exercise 2: Coada dublă (deque)Exercise 3: Buffer de memorie pentru Experience Replay Exercise 4: DQN cu Experience Replay Exercise 5: Algoritmul DQN complet Exercise 6: Epsilon-greedy Exercise 7: Q-ținte fixe Exercise 8: Implementarea algoritmului DQN complet Exercise 9: Double DQN Exercise 10: Rețeaua online și rețeaua țintă în DDQN Exercise 11: Antrenarea Double DQN Exercise 12: Reluarea experienței prioritizate Exercise 13: Buffer de experience replay prioritizat Exercise 14: Eșantionarea din bufferul PER Exercise 15: DQN cu Prioritized Experience Replay

Învață conceptele fundamentale ale metodelor policy gradient din DRL. Vei începe cu teorema policy gradient, care stă la baza acestor metode. Apoi vei implementa algoritmul REINFORCE, o abordare eficientă pentru învățarea politicilor. Capitolul te va ghida prin metodele Actor-Critic, cu accent pe algoritmul Advantage Actor-Critic (A2C), care combină punctele forte ale metodelor policy gradient și ale celor bazate pe valori, pentru a îmbunătăți eficiența și stabilitatea învățării.

Exercise 1: Introducere în policy gradient Exercise 2: Arhitectura rețelei de politici Exercise 3: Lucrul cu distribuții discrete Exercise 4: Gradientul politicii și REINFORCE Exercise 5: Selectarea acțiunilor în REINFORCE Exercise 6: Antrenarea algoritmului REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Rețeaua Critic

Exercițiul curent

Exercise 9: Calculul pierderilor Actor-Critic Exercise 10: Antrenarea algoritmului A2C

Explorează Proximal Policy Optimization (PPO) pentru performanță robustă în DRL. Vei analiza utilizarea unui bonus de entropie în PPO, care încurajează explorarea și previne convergența prematură către politici deterministe. Vei învăța, de asemenea, despre actualizările pe loturi în metodele policy gradient. În final, vei descoperi optimizarea hiperparametrilor cu Optuna, un instrument puternic pentru maximizarea performanței modelelor DRL.

Exercise 1: Optimizarea politicii proximale Exercise 2: Raportul de probabilitate cu clipping Exercise 3: Funcția obiectiv surogat clipeată Exercise 4: Bonus de entropie și PPO Exercise 5: Explorarea entropiei Exercise 6: Antrenarea algoritmului PPO Exercise 7: Actualizări în loturi în policy gradient Exercise 8: Minibatch și DRL Exercise 9: A2C cu actualizări pe batch Exercise 10: Optimizarea hiperparametrilor cu Optuna Exercise 11: Hiperparametru sau nu?Exercise 12: Practică cu Optuna Exercise 13: Felicitări!