1. Learn
    2. /
  2. Courses
    3. /
  3. Deep Reinforcement Learning en Python
Connected

Exercise

La fonction objectif substitut tronquée

Implémentez la fonction calculate_loss() pour PPO. Il s'agit de coder l'innovation clé de PPO — la fonction de perte substitutive tronquée. Elle sert à limiter la mise à jour de la politique pour éviter qu'elle ne s'éloigne trop de la politique précédente à chaque étape.

La formule de l'objectif substitut tronqué est

Votre environnement a l'hyperparamètre de troncature epsilon réglé à 0.2.

Instructions

100 XP
  • Obtenez les rapports de probabilités entre \pi_\theta et \pi_{\theta_{old}} (versions non tronquée et tronquée).
  • Calculez les objectifs substituts (versions non tronquée et tronquée).
  • Calculez l'objectif substitut tronqué de PPO.
  • Calculez la perte de l'acteur.