ПочатиПочніть безкоштовно

DQN із пріоритезованим повторним відтворенням досвіду

У цій вправі ви додасте пріоритезоване повторне відтворення досвіду (PER), щоб поліпшити алгоритм DQN. Мета PER — оптимізувати вибір пакета переходів, які використовуються для оновлення мережі на кожному кроці.

Для довідки, оголошені вами методи для PrioritizedReplayBuffer такі:

  • push() (щоб додавати переходи до буфера)
  • sample() (щоб вибирати пакет переходів із буфера)
  • increase_beta() (щоб підвищувати вагу importance sampling)
  • update_priorities() (щоб оновлювати пріоритети вибраних прикладів)

Функція describe_episode() знову використовується для опису кожного епізоду.

Ця вправа є частиною курсу

Глибоке навчання з підкріпленням у Python

Переглянути курс

Інструкції до вправи

  • Створіть буфер пріоритезованого повторного відтворення досвіду з місткістю 10000 переходів.
  • Збільшуйте вплив importance sampling з часом, оновлюючи параметр beta.
  • Оновіть пріоритет вибраних прикладів досвіду на основі їхньої останньої TD-похибки.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Instantiate a Prioritized Replay Buffer with capacity 10000
replay_buffer = ____(____)

for episode in range(5):
    state, info = env.reset()
    done = False   
    step = 0
    episode_reward = 0    
    # Increase the replay buffer's beta parameter
    replay_buffer.____
    while not done:
        step += 1
        total_steps += 1
        q_values = online_network(state)
        action = select_action(q_values, total_steps, start=.9, end=.05, decay=1000)
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        replay_buffer.push(state, action, reward, next_state, done)        
        if len(replay_buffer) >= batch_size:
            states, actions, rewards, next_states, dones, indices, weights = replay_buffer.sample(64)
            q_values = online_network(states).gather(1, actions).squeeze(1)
            with torch.no_grad():
                next_q_values = target_network(next_states).amax(1)
                target_q_values = rewards + gamma * next_q_values * (1-dones)            
            td_errors = target_q_values - q_values
            # Update the replay buffer priorities for that batch
            replay_buffer.____(____, ____)
            loss = torch.sum(weights * (q_values - target_q_values) ** 2)
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
            update_target_network(target_network, online_network, tau=.005)
        state = next_state
        episode_reward += reward    
    describe_episode(episode, reward, episode_reward, step)
Редагувати та запускати код