A2C с пакетными обновлениями
На протяжении курса вы работали с различными вариантами одного базового цикла обучения DRL. На практике эту структуру можно расширять по-разному — например, добавив пакетные обновления.
Вы вернётесь к циклу обучения A2C в среде Lunar Lander, но на этот раз вместо обновления сетей на каждом шаге будете дожидаться 10 шагов, а затем выполнять шаг градиентного спуска. Усредняя потери по 10 шагам, вы получите несколько более стабильные обновления.
Это упражнение является частью курса
Глубокое обучение с подкреплением на Python
Инструкции к упражнению
- Добавляйте потери каждого шага в тензоры потерь текущего пакета.
- Вычислите потери пакета.
- Переинициализируйте тензоры потерь.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
actor_losses = torch.tensor([])
critic_losses = torch.tensor([])
for episode in range(10):
state, info = env.reset()
done = False
episode_reward = 0
step = 0
while not done:
step += 1
action, action_log_prob = select_action(actor, state)
next_state, reward, terminated, truncated, _ = env.step(action)
done = terminated or truncated
episode_reward += reward
actor_loss, critic_loss = calculate_losses(
critic, action_log_prob,
reward, state, next_state, done)
# Append to the loss tensors
actor_losses = torch.cat((____, ____))
critic_losses = torch.cat((____, ____))
if len(actor_losses) >= 10:
# Calculate the batch losses
actor_loss_batch = actor_losses.____
critic_loss_batch = critic_losses.____
actor_optimizer.zero_grad(); actor_loss_batch.backward(); actor_optimizer.step()
critic_optimizer.zero_grad(); critic_loss_batch.backward(); critic_optimizer.step()
# Reinitialize the loss tensors
actor_losses = ____
critic_losses = ____
state = next_state
describe_episode(episode, reward, episode_reward, step)