PER arabelleğinden örnekleme

Aracını eğitmek için Öncelikli Deneyim Arabelleği (Prioritized Experience Buffer) sınıfını kullanmadan önce .sample() yöntemini hâlâ uygulaman gerekiyor. Bu yöntem, çekmek istediğin örneğin boyutunu argüman olarak alır ve örneklenen geçişleri tensor olarak, bellek arabelleğindeki indeksleri ve önem ağırlıklarıyla birlikte döndürür.

Ortamında kapasitesi 10 olan bir arabellek, örnekleme yapabilmen için önceden yüklendi.

Bu egzersiz, kursun bir parçasıdır

Python ile Deep Reinforcement Learning

Kursa Göz Atın

Egzersiz talimatları

Her bir geçişle ilişkili örnekleme olasılığını hesapla.
Örnekteki geçişlere karşılık gelen indeksleri çek; np.random.choice(a, s, p=p), olasılık dizisi p'ye göre a dizisinden, yerine koymalı olarak boyutu s olan bir örnek alır.
Her bir geçişle ilişkili önem ağırlığını hesapla.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

def sample(self, batch_size):
    priorities = np.array(self.priorities)
    # Calculate the sampling probabilities
    probabilities = ____ / np.sum(____)
    # Draw the indices for the sample
    indices = np.random.choice(____)
    # Calculate the importance weights
    weights = (1 / (len(self.memory) * ____)) ** ____
    weights /= np.max(weights)
    states, actions, rewards, next_states, dones = zip(*[self.memory[idx] for idx in indices])
    weights = [weights[idx] for idx in indices]
    states_tensor = torch.tensor(states, dtype=torch.float32)
    rewards_tensor = torch.tensor(rewards, dtype=torch.float32)
    next_states_tensor = torch.tensor(next_states, dtype=torch.float32)
    dones_tensor = torch.tensor(dones, dtype=torch.float32)
    weights_tensor = torch.tensor(weights, dtype=torch.float32)
    actions_tensor = torch.tensor(actions, dtype=torch.long).unsqueeze(1)
    return (states_tensor, actions_tensor, rewards_tensor, next_states_tensor,
            dones_tensor, indices, weights_tensor)

PrioritizedReplayBuffer.sample = sample
print("Sampled transitions:\n", buffer.sample(3))

Kodu Düzenle ve Çalıştır

Bu egzersiz, kursun bir parçasıdır

Python ile Deep Reinforcement Learning

AvançadoNível de habilidade

4.8+

Kursa Ücretsiz Başla

Deep reinforcement learning’in, geleneksel Reinforcement Learning’e nasıl üstünlük sağladığını keşfet ve ilk Deep Q Learning algoritmanı inceleyip uygula.

Exercise 1: Derin pekiştirmeli öğrenmeye giriş Exercise 2: Ortam ve sinir ağı kurulumu Exercise 3: DRL eğitim döngüsü Exercise 4: Deep Q öğrenmeye giriş Exercise 5: Deep learning ve DQN Exercise 6: Q-Ağı mimarisi Exercise 7: Q-Ağını Örneklendirme Exercise 8: Temel DQN algoritması Exercise 9: Temel DQN eylem seçimi Exercise 10: Temel DQN kayıp fonksiyonu Exercise 11: Temel DQN'i eğitme

Experience Replay, epsilon-greediness ve sabit Q-hedefleri içeren orijinal DQN algoritmasını uygulayarak Deep Q-learning’e dal. DQN’in ötesinde, Deep Q-learning’in performans ve kararlılığını artıran iki etkileyici genişletmeyi keşfedeceksin: Double DQN ve Prioritized Experience Replay.

Exercise 1: Deneyim tekrar çalma ile DQN Exercise 2: Çift uçlu kuyruk Exercise 3: Deneyim tekrar oynatma tamponu Exercise 4: Deneyim Tekrarı ile DQN Exercise 5: Tam DQN algoritması Exercise 6: Epsilon-açgözlülüğü Exercise 7: Sabit Q-hedefleri Exercise 8: Tam DQN algoritmasını uygulama Exercise 9: Double DQN Exercise 10: DDQN'de çevrimiçi ağ ve hedef ağ Exercise 11: Double DQN'i eğitmek Exercise 12: Önceliklendirilmiş deneyim tekrar oynatma Exercise 13: Öncelikli deneyim tekrar oynatma tamponu Exercise 14: PER arabelleğinden örnekleme

Geçerli egzersiz

Exercise 15: Öncelikli deneyim tekrarı ile DQN

DRL’de yer alan policy gradient yöntemlerinin temel kavramlarını öğren. Bu yöntemlerin temelini oluşturan policy gradient teoremi ile başlayacaksın. Ardından politikaları öğrenmede güçlü bir yaklaşım olan REINFORCE algoritmasını uygulayacaksın. Bölüm, policy gradient ve değer tabanlı yöntemlerin güçlü yönlerini birleştirerek öğrenme verimliliği ve kararlılığını artıran Advantage Actor-Critic (A2C) yöntemine odaklanan Actor-Critic yöntemleriyle devam edecek.

Exercise 1: Politika gradyanına giriş Exercise 2: Policy ağının mimarisi Exercise 3: Ayrık dağılımlarla çalışmak Exercise 4: Policy gradient ve REINFORCE Exercise 5: REINFORCE'ta eylem seçimi Exercise 6: REINFORCE algoritmasını eğitme Exercise 7: Advantage Actor-Critic Exercise 8: Eleştirmen (Critic) ağı Exercise 9: Actor-Critic kayıp hesaplamaları Exercise 10: A2C algoritmasını eğitme

Sağlam DRL performansı için Proximal Policy Optimization (PPO)’ı keşfet. Sonraki adımda, belirleyici politikalara erken yakınsamayı önleyerek keşfi teşvik eden PPO’daki entropi bonusunu inceleyeceksin. Ayrıca policy gradient yöntemlerinde toplu (batch) güncellemeleri öğreneceksin. Son olarak, DRL modellerindeki performansı iyileştirmek için güçlü bir araç olan Optuna ile hiperparametre optimizasyonunu öğreneceksin.

Exercise 1: Yakınsal politika optimizasyonu Exercise 2: Kırpılmış olasılık oranı Exercise 3: Kırpılmış yerine geçen amaç fonksiyonu Exercise 4: Entropi bonusu ve PPO Exercise 5: Entropi oyun alanı Exercise 6: PPO algoritmasını eğitme Exercise 7: Politika gradyanında yığın güncellemeleri Exercise 8: Minibatch ve DRL Exercise 9: Toplu güncellemelerle A2C Exercise 10: Optuna ile hiperparametre optimizasyonu Exercise 11: Hiperparametre mi değil mi?Exercise 12: Optuna ile uygulama Exercise 13: Tebrikler!