Probenahme aus dem Puffer PER

Bevor du die Klasse Prioritized Experience Buffer verwenden kannst, um deinen Agenten zu trainieren, musst du noch die Methode .sample() implementieren. Diese Methode nimmt als Argument die Größe der Stichprobe, die du ziehen willst, und gibt die gesampelten Übergänge als tensors zurück, zusammen mit ihren Indizes im Speicherpuffer und ihrem Wichtigkeitsgewicht.

In deiner Umgebung wurde ein Puffer mit einer Kapazität von 10 geladen, aus dem du Proben nehmen kannst.

Diese Übung ist Teil des Kurses

Deep Reinforcement Learning in Python

Anleitung zur Übung

Berechne die Stichprobenwahrscheinlichkeit, die mit jedem Übergang verbunden ist.
Ziehe die Indizes, die den Übergängen in der Stichprobe entsprechen; np.random.choice(a, s, p=p) zieht eine Stichprobe der Größe s mit Ersatz aus dem Array a, basierend auf dem Wahrscheinlichkeitsarray p.
Berechne die Wichtigkeit, die jedem Übergang zugeordnet ist.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

def sample(self, batch_size):
    priorities = np.array(self.priorities)
    # Calculate the sampling probabilities
    probabilities = ____ / np.sum(____)
    # Draw the indices for the sample
    indices = np.random.choice(____)
    # Calculate the importance weights
    weights = (1 / (len(self.memory) * ____)) ** ____
    weights /= np.max(weights)
    states, actions, rewards, next_states, dones = zip(*[self.memory[idx] for idx in indices])
    weights = [weights[idx] for idx in indices]
    states_tensor = torch.tensor(states, dtype=torch.float32)
    rewards_tensor = torch.tensor(rewards, dtype=torch.float32)
    next_states_tensor = torch.tensor(next_states, dtype=torch.float32)
    dones_tensor = torch.tensor(dones, dtype=torch.float32)
    weights_tensor = torch.tensor(weights, dtype=torch.float32)
    actions_tensor = torch.tensor(actions, dtype=torch.long).unsqueeze(1)
    return (states_tensor, actions_tensor, rewards_tensor, next_states_tensor,
            dones_tensor, indices, weights_tensor)

PrioritizedReplayBuffer.sample = sample
print("Sampled transitions:\n", buffer.sample(3))

Bearbeiten und Ausführen von Code

Diese Übung ist Teil des Kurses

Deep Reinforcement Learning in Python

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Entdecke, wie Deep Reinforcement Learning das traditionelle Reinforcement Learning verbessert, während du deinen ersten Deep Q Learning-Algorithmus studierst und implementierst.

Exercise 1: Einführung in Deep Reinforcement Learning Exercise 2: Umgebung und Aufbau des neuronalen Netzes Exercise 3: DRL Trainingsschleife Exercise 4: Einführung in Deep Q Learning Exercise 5: Deep Learning und DQN Exercise 6: Die Architektur des Q-Netzes Exercise 7: Instanziierung des Q-Netzes Exercise 8: Der Barebone-Algorithmus DQN Exercise 9: Barebone DQN Aktionsauswahl Exercise 10: Barebone DQN Verlustfunktion Exercise 11: Ausbildung des Barebone DQN

Tauche ein in das Deep Q-learning, indem du den ursprünglichen DQN Algorithmus mit Experience Replay, Epsilon-Greediness und festen Q-Zielen implementierst. Über DQN hinaus wirst du zwei faszinierende Erweiterungen kennenlernen, die die Leistung und Stabilität von Deep Q-learning verbessern: Doppelte DQN und priorisierte Erfahrungswiederholung.

Exercise 1: DQN mit Erlebniswiedergabe Exercise 2: Die doppelendige Warteschlange Exercise 3: Puffer für Erfahrungswiedergabe Exercise 4: DQN mit Erlebniswiedergabe Exercise 5: Der vollständige DQN Algorithmus Exercise 6: Epsilon-Grausamkeit Exercise 7: Feste Q-Ziele Exercise 8: Den kompletten DQN Algorithmus implementieren Exercise 9: Doppelter DQN Exercise 10: Online-Netzwerk und Zielnetzwerk in DDQN Exercise 11: Das Doppelte trainieren DQN Exercise 12: Priorisierte Erfahrungswiedergabe Exercise 13: Priorisierter Erfahrungswiedergabepuffer Exercise 14: Probenahme aus dem Puffer PER

Aktuelle Übung

Exercise 15: DQN mit priorisierter Erfahrungswiedergabe

Lerne die grundlegenden Konzepte der politischen Gradientenmethoden auf DRL kennen. Du beginnst mit dem politischen Gradiententheorem, das die Grundlage für diese Methoden bildet. Dann implementierst du den REINFORCE Algorithmus, einen leistungsstarken Ansatz zum Lernen von Richtlinien. Das Kapitel führt dich dann durch die Actor-Critic-Methoden und konzentriert sich dabei auf den Advantage Actor-Critic (A2C)-Algorithmus, der die Stärken der Policy-Gradienten- und der wertbasierten Methoden kombiniert, um die Lerneffizienz und die Stabilität zu verbessern.

Exercise 1: Einführung in das Politikgefälle Exercise 2: Die Architektur des Politiknetzwerks Exercise 3: Arbeiten mit diskreten Verteilungen Exercise 4: Politisches Gefälle und REINFORCE Exercise 5: Aktionsauswahl in REINFORCE Exercise 6: Training des REINFORCE Algorithmus Exercise 7: Vorteil Schauspieler-Kritiker Exercise 8: Kritiker-Netzwerk Exercise 9: Schauspieler Kritische Verlustberechnungen Exercise 10: Training des A2C-Algorithmus

Erforsche Proximal Policy Optimization (PPO) für eine robuste DRL Leistung. Als Nächstes wirst du die Verwendung eines Entropie-Bonus in PPO untersuchen, der die Erkundung fördert, indem er eine vorzeitige Konvergenz zu deterministischen Strategien verhindert. Du lernst auch etwas über Batch-Updates bei Policy-Gradienten-Methoden. Schließlich lernst du die Optimierung von Hyperparametern mit Optuna kennen, einem leistungsstarken Tool zur Optimierung der Leistung deiner DRL Modelle.

Exercise 1: Optimierung der Politik in der Nähe Exercise 2: Das abgeschnittene Wahrscheinlichkeitsverhältnis Exercise 3: Die beschnittene Surrogat-Zielfunktion Exercise 4: Entropie-Bonus und PPO Exercise 5: Entropie Spielplatz Exercise 6: Training des PPO Algorithmus Exercise 7: Batch-Updates im Policy-Gradienten Exercise 8: Minibatch und DRL Exercise 9: A2C mit Batch-Updates Exercise 10: Hyperparameter-Optimierung mit Optuna Exercise 11: Hyperparameter oder nicht?Exercise 12: Praktische Erfahrung mit Optuna Exercise 13: Herzlichen Glückwunsch!