Zaciśnięta zastępcza funkcja celu

Zaimplementuj funkcję calculate_loss() dla PPO. Wymaga to zakodowania kluczowej innowacji PPO – zaciśniętej zastępczej funkcji straty. Ogranicza ona aktualizację polityki, dzięki czemu przy każdym kroku nie oddala się zbytnio od poprzedniej polityki.

Wzór na zaciśniętą zastępczą funkcję celu to

W twoim środowisku hiperparametr zaciśnięcia epsilon jest ustawiony na 0,2.

To ćwiczenie jest częścią kursu

Głębokie uczenie ze wzmocnieniem w Pythonie

Instrukcje do ćwiczenia

Oblicz współczynniki prawdopodobieństwa między \pi_\theta a \pi_{\theta_{old}} (wersję niezaciśniętą i zaciśniętą).
Oblicz zastępcze funkcje celu (wersję niezaciśniętą i zaciśniętą).
Oblicz zaciśniętą zastępczą funkcję celu PPO.
Oblicz stratę aktora.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

def calculate_losses(critic_network, action_log_prob, action_log_prob_old,
                     reward, state, next_state, done):
    value = critic_network(state)
    next_value = critic_network(next_state)
    td_target = (reward + gamma * next_value * (1-done))
    td_error = td_target - value
    # Obtain the probability ratios
    ____, ____ = calculate_ratios(action_log_prob, action_log_prob_old, epsilon=.2)
    # Calculate the surrogate objectives
    surr1 = ratio * ____.____()
    surr2 = clipped_ratio * ____.____()    
    # Calculate the clipped surrogate objective
    objective = torch.min(____, ____)
    # Calculate the actor loss
    actor_loss = ____
    critic_loss = td_error ** 2
    return actor_loss, critic_loss
  
actor_loss, critic_loss = calculate_losses(critic_network, action_log_prob, action_log_prob_old,
                                           reward, state, next_state, done)
print(actor_loss, critic_loss)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Głębokie uczenie ze wzmocnieniem w Pythonie

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

Odkryj, w jaki sposób głębokie uczenie ze wzmocnieniem usprawnia tradycyjne uczenie ze wzmocnieniem – poznaj teorię i zaimplementuj swój pierwszy algorytm Deep Q-Learning.

Exercise 1: Wprowadzenie do głębokiego uczenia ze wzmocnieniem Exercise 2: Konfiguracja środowiska i sieci neuronowej Exercise 3: Pętla treningowa DRL Exercise 4: Wprowadzenie do głębokiego Q-learningu Exercise 5: Uczenie głębokie i DQN Exercise 6: Architektura sieci Q Exercise 7: Tworzenie instancji sieci Q Exercise 8: Podstawowy algorytm DQN Exercise 9: Wybór akcji w uproszczonym algorytmie DQN Exercise 10: Funkcja straty w uproszczonym DQN Exercise 11: Trenowanie podstawowego algorytmu DQN

Zagłęb się w Deep Q-learning, implementując oryginalny algorytm DQN z buforowaniem doświadczeń, strategią epsilon-zachłanną i stałymi celami Q. Następnie poznasz dwa interesujące rozszerzenia poprawiające wydajność i stabilność Deep Q-learning: Double DQN oraz Priorytetyzowany bufor doświadczeń.

Exercise 1: DQN z doświadczonym powtarzaniem Exercise 2: Kolejka dwustronna Exercise 3: Bufor powtórek doświadczeń Exercise 4: DQN z powtarzaniem doświadczeń Exercise 5: Kompletny algorytm DQN Exercise 6: Strategia epsilon-zachłanna Exercise 7: Stałe cele Q (Fixed Q-targets)Exercise 8: Implementacja pełnego algorytmu DQN Exercise 9: Double DQN Exercise 10: Sieć online i sieć docelowa w DDQN Exercise 11: Trenowanie podwójnego DQN Exercise 12: Priorytetowy bufor doświadczeń Exercise 13: Bufor z priorytetyzowanym powtarzaniem doświadczeń Exercise 14: Próbkowanie z bufora PER Exercise 15: DQN z priorytetowym powtarzaniem doświadczeń

Poznaj podstawowe koncepcje metod gradientu polityki stosowanych w DRL. Zaczniesz od twierdzenia o gradiencie polityki, które stanowi fundament tych metod, a następnie zaimplementujesz algorytm REINFORCE – skuteczne podejście do uczenia polityk. Rozdział przeprowadzi cię też przez metody Actor-Critic, ze szczególnym uwzględnieniem algorytmu Advantage Actor-Critic (A2C), który łączy zalety metod gradientu polityki i metod opartych na wartości, zwiększając efektywność i stabilność uczenia.

Exercise 1: Wprowadzenie do metod gradientu polityki Exercise 2: Architektura sieci polityki Exercise 3: Praca z dyskretnym rozkładem prawdopodobieństwa Exercise 4: Gradient polityki i REINFORCE Exercise 5: Wybór akcji w algorytmie REINFORCE Exercise 6: Trenowanie algorytmu REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Sieć krytyka Exercise 9: Obliczanie strat w Actor-Critic Exercise 10: Trenowanie algorytmu A2C

Poznaj Proximal Policy Optimization (PPO) jako niezawodne narzędzie w DRL. Następnie dowiesz się, jak stosować bonus entropijny w PPO – zachęca on do eksploracji i zapobiega przedwczesnemu zbieganiu do polityk deterministycznych. Poznasz też aktualizacje wsadowe w metodach gradientu polityki. Na końcu nauczysz się optymalizacji hiperparametrów za pomocą Optuny – potężnego narzędzia do poprawy wydajności modeli DRL.

Exercise 1: Proksymalna optymalizacja polityki Exercise 2: Przycięty współczynnik prawdopodobieństwa Exercise 3: Zaciśnięta zastępcza funkcja celu

Bieżące ćwiczenie

Exercise 4: Bonus entropii i PPO Exercise 5: Eksperymentuj z entropią Exercise 6: Trenowanie algorytmu PPO Exercise 7: Aktualizacje wsadowe w metodach gradientu strategii Exercise 8: Minibatch i DRL Exercise 9: A2C z aktualizacjami batchowymi Exercise 10: Optymalizacja hiperparametrów z Optuną Exercise 11: Hiperparametr czy nie?Exercise 12: Optuna w praktyce Exercise 13: Gratulacje!