Kom igångKom igång gratis

Det klippta sannolikhetskvoten

Nu ska du implementera det klippta sannolikhetskvoten – en viktig del av PPO:s målfunktion.

Som referens definieras sannolikhetskvoten som: $$\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$$

Och det klippta sannolikhetskvoten är: \(\mathrm{clip}(r_t(\theta), 1-\varepsilon, 1+\varepsilon)\).

Den här övningen är en del av kursen

Djup förstärkningsinlärning i Python

Visa kurs

Övningsinstruktioner

  • Beräkna aktionssannolikheten prob från action_log_prob, och prob_old från action_log_prob_old.
  • Koppla loss den gamla aktionsloggsannolikheten från Torch beräkningsgraf.
  • Beräkna sannolikhetskvoten.
  • Klipp surrogatmålfunktionen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

log_prob = torch.tensor(.5).log()
log_prob_old = torch.tensor(.4).log()

def calculate_ratios(action_log_prob, action_log_prob_old, epsilon):
    # Obtain prob and prob_old
    prob = ____
    prob_old = ____
    # Detach the old action log prob
    prob_old_detached = ____.____()
    # Calculate the probability ratio
    ratio = ____ / ____
    # Apply clipping
    clipped_ratio = torch.____(ratio, ____, ____)
    print(f"+{'-'*29}+\n|         Ratio: {str(ratio)} |\n| Clipped ratio: {str(clipped_ratio)} |\n+{'-'*29}+\n")
    return (ratio, clipped_ratio)

_ = calculate_ratios(log_prob, log_prob_old, epsilon=.2)
Redigera och kör kod