始める無料で始める

クリップ付き代理目的関数

PPO 用の calculate_loss() 関数を実装します。ここでは、PPO の中核となる工夫である「クリップ付き代理損失関数」をコード化します。各ステップで方策が以前の方策から大きく乖離しないよう、更新量を抑制する役割があります。

クリップ付き代理目的関数の数式は次のとおりです。

この環境では、クリップのハイパーパラメータ epsilon は 0.2 に設定されています。

この演習はコースの一部です

Pythonで学ぶDeep Reinforcement Learning

コースを見る

演習の手順

  • \pi_\theta と \pi_{\theta_{old}} の間の確率比（切り詰めなし版とクリップ版）を取得します。
  • 代理目的（切り詰めなし版とクリップ版）を計算します。
  • PPO のクリップ付き代理目的を計算します。
  • Actor の損失を計算します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

def calculate_losses(critic_network, action_log_prob, action_log_prob_old,
                     reward, state, next_state, done):
    value = critic_network(state)
    next_value = critic_network(next_state)
    td_target = (reward + gamma * next_value * (1-done))
    td_error = td_target - value
    # Obtain the probability ratios
    ____, ____ = calculate_ratios(action_log_prob, action_log_prob_old, epsilon=.2)
    # Calculate the surrogate objectives
    surr1 = ratio * ____.____()
    surr2 = clipped_ratio * ____.____()    
    # Calculate the clipped surrogate objective
    objective = torch.min(____, ____)
    # Calculate the actor loss
    actor_loss = ____
    critic_loss = td_error ** 2
    return actor_loss, critic_loss
  
actor_loss, critic_loss = calculate_losses(critic_network, action_log_prob, action_log_prob_old,
                                           reward, state, next_state, done)
print(actor_loss, critic_loss)
コードを編集して実行