ПочатиПочніть безкоштовно

Буфер пріоритизованого повторного програвання досвіду

Ви додасте клас PrioritizedExperienceReplay — структуру даних, яку згодом використаєте для реалізації DQN із пріоритизованим повторним програванням досвіду (Prioritized Experience Replay).

PrioritizedExperienceReplay — це вдосконалення класу ExperienceReplay, який ви досі використовували для тренування агентів DQN. Буфер пріоритизованого повторного програвання забезпечує відбір переходів, що є ціннішими для навчання агента, ніж за рівномірного вибіркового відтворення.

Поки що реалізуйте методи .__init__(), .push(), .update_priorities(), .increase_beta() та .__len__(). Останній метод, .sample(), буде темою наступної вправи.

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

Переглянути курс

Інструкції до вправи

  • У .push() ініціалізуйте пріоритет переходу як максимальний пріоритет у буфері (або 1, якщо буфер порожній).
  • У .update_priorities() встановіть пріоритет рівним модулю відповідної помилки TD; додайте self.epsilon, щоб покрити крайові випадки.
  • У .increase_beta() збільшіть beta на self.beta_increment; переконайтеся, що beta ніколи не перевищує 1.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

class PrioritizedReplayBuffer:
    def __init__(
        self, capacity, alpha=0.6, beta=0.4, beta_increment=0.001, epsilon=0.01
    ):
        self.memory = deque(maxlen=capacity)
        self.alpha, self.beta, self.beta_increment, self.epsilon = (alpha, beta, beta_increment, epsilon)
        self.priorities = deque(maxlen=capacity)

    def push(self, state, action, reward, next_state, done):
        experience_tuple = (state, action, reward, next_state, done)
        # Initialize the transition's priority
        max_priority = ____
        self.memory.append(experience_tuple)
        self.priorities.append(max_priority)
    
    def update_priorities(self, indices, td_errors):
        for idx, td_error in zip(indices, td_errors.tolist()):
            # Update the transition's priority
            self.priorities[idx] = ____

    def increase_beta(self):
        # Increase beta if less than 1
        self.beta = ____

    def __len__(self):
        return len(self.memory)
      
buffer = PrioritizedReplayBuffer(capacity=3)
buffer.push(state=[1,3], action=2, reward=1, next_state=[2,4], done=False)
print("Transition in memory buffer:", buffer.memory)
print("Priority buffer:", buffer.priorities)
Редагувати та запускати код