1. Learn
    2. /
  2. Курси
    3. /
  3. Глибоке навчання з підкріпленням у Python
Connected

Вправа

Clipped surrogate objective — цільова функція з обрізанням

Реалізуйте функцію calculate_loss() для PPO. Для цього потрібно закодувати ключову інновацію PPO — функцію втрат на основі clipped surrogate. Вона обмежує оновлення політики, щоб на кожному кроці політика не відхилялася надто далеко від попередньої.

Формула для clipped surrogate objective така:

У вашому середовищі гіперпараметр обрізання epsilon встановлено на 0.2.

Інструкції

100 XP
  • Отримайте відношення імовірностей між \pi_\theta та \pi_{\theta_{old}} (некліпована та кліпована версії).
  • Обчисліть замінникові (surrogate) цілі (некліповану та кліповану версії).
  • Обчисліть clipped surrogate objective для PPO.
  • Обчисліть втрати актора.