Explorarea entropiei

Dacă nu ai mai întâlnit conceptul de entropie până acum, cel mai bine îl înțelegi printr-un exemplu concret.

Vei construi o funcție plot_probabilities care primește ca argument o listă de probabilități. Aceasta calculează entropia și reprezintă grafic probabilitățile sub forma unui grafic cu bare.

Experimentând cu entropia, vei observa că aceasta este mai mare atunci când distribuția de probabilitate este distribuită uniform pe mai multe acțiuni.

Clasa torch.distribution.Categorical este disponibilă în mediul tău ca Categorical; această clasă are o metodă, .entropy(), care returnează entropia în nats.

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

Instrucțiuni pentru exercițiu

Calculează entropia distribuției de probabilitate în nats.
Pentru comoditate, convertește entropia din nats în biți.
Încearcă să folosești o altă listă ca intrare pentru funcție.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def plot_probabilities(probs):
  dist = Categorical(torch.tensor(probs))
  # Obtain the entropy in nats
  entropy = dist.____
  # Convert the entropy to bits
  entropy = entropy / math.log(____)
  print(f"{'Probabilities:':>15} {[round(prob, 3) for prob in dist.probs.tolist()]}")
  print(f"{'Entropy:':>15} {entropy:.2f}\n")
  plt.figure()
  plt.bar([str(x) for x in range(len(dist.probs))], dist.probs, color='skyblue', edgecolor='black')
  plt.ylabel('Probability'); plt.xlabel('Action index'); plt.ylim(0, 1)
  plt.show()
  
plot_probabilities([.25, .25, .25, .25])
plot_probabilities([.1, .15, .2, .25, .3])
# Try with your own list
plot_probabilities(____)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Reinforcement Learning în Python

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Descoperă cum Deep Reinforcement Learning îmbunătățește Reinforcement Learning clasic, studiind și implementând primul tău algoritm Deep Q-Learning.

Exercise 1: Introducere în învățarea profundă prin recompensă Exercise 2: Configurarea mediului și a rețelei neuronale Exercise 3: Bucla de antrenament DRL Exercise 4: Introducere în Deep Q Learning Exercise 5: Învățare profundă și DQN Exercise 6: Arhitectura rețelei Q Exercise 7: Instanțierea rețelei Q Exercise 8: Algoritmul DQN de bază Exercise 9: Selectarea acțiunii în DQN de bază Exercise 10: Funcția de pierdere pentru DQN de bază Exercise 11: Antrenarea DQN de bază

Aprofundează Deep Q-learning implementând algoritmul DQN original, cu Experience Replay, strategia epsilon-greedy și Q-target-uri fixe. Dincolo de DQN, vei explora două extensii importante care îmbunătățesc performanța și stabilitatea Deep Q-learning-ului: Double DQN și Prioritized Experience Replay.

Exercise 1: DQN cu experience replay Exercise 2: Coada dublă (deque)Exercise 3: Buffer de memorie pentru Experience Replay Exercise 4: DQN cu Experience Replay Exercise 5: Algoritmul DQN complet Exercise 6: Epsilon-greedy Exercise 7: Q-ținte fixe Exercise 8: Implementarea algoritmului DQN complet Exercise 9: Double DQN Exercise 10: Rețeaua online și rețeaua țintă în DDQN Exercise 11: Antrenarea Double DQN Exercise 12: Reluarea experienței prioritizate Exercise 13: Buffer de experience replay prioritizat Exercise 14: Eșantionarea din bufferul PER Exercise 15: DQN cu Prioritized Experience Replay

Învață conceptele fundamentale ale metodelor policy gradient din DRL. Vei începe cu teorema policy gradient, care stă la baza acestor metode. Apoi vei implementa algoritmul REINFORCE, o abordare eficientă pentru învățarea politicilor. Capitolul te va ghida prin metodele Actor-Critic, cu accent pe algoritmul Advantage Actor-Critic (A2C), care combină punctele forte ale metodelor policy gradient și ale celor bazate pe valori, pentru a îmbunătăți eficiența și stabilitatea învățării.

Exercise 1: Introducere în policy gradient Exercise 2: Arhitectura rețelei de politici Exercise 3: Lucrul cu distribuții discrete Exercise 4: Gradientul politicii și REINFORCE Exercise 5: Selectarea acțiunilor în REINFORCE Exercise 6: Antrenarea algoritmului REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Rețeaua Critic Exercise 9: Calculul pierderilor Actor-Critic Exercise 10: Antrenarea algoritmului A2C

Explorează Proximal Policy Optimization (PPO) pentru performanță robustă în DRL. Vei analiza utilizarea unui bonus de entropie în PPO, care încurajează explorarea și previne convergența prematură către politici deterministe. Vei învăța, de asemenea, despre actualizările pe loturi în metodele policy gradient. În final, vei descoperi optimizarea hiperparametrilor cu Optuna, un instrument puternic pentru maximizarea performanței modelelor DRL.

Exercise 1: Optimizarea politicii proximale Exercise 2: Raportul de probabilitate cu clipping Exercise 3: Funcția obiectiv surogat clipeată Exercise 4: Bonus de entropie și PPO Exercise 5: Explorarea entropiei

Exercițiul curent

Exercise 6: Antrenarea algoritmului PPO Exercise 7: Actualizări în loturi în policy gradient Exercise 8: Minibatch și DRL Exercise 9: A2C cu actualizări pe batch Exercise 10: Optimizarea hiperparametrilor cu Optuna Exercise 11: Hiperparametru sau nu?Exercise 12: Practică cu Optuna Exercise 13: Felicitări!