Upptäck hur djup förstärkningsinlärning förbättrar traditionell förstärkningsinlärning, och implementera din första djupa Q-inlärningsalgoritm.

Introduktion till djup förstärkningsinlärning

Miljö- och neuralt nätverksinställning

DRL-träningsloop

Introduktion till djup Q-inlärning

Djupinlärning och DQN

Q-nätverkets arkitektur

Instansiera Q-nätverket

Den grundläggande DQN-algoritmen

Aktionsval med barebones DQN

Förlustfunktion för ett grundläggande DQN

Träna det grundläggande DQN-nätverket

Fördjupa dig i djup Q-inlärning genom att implementera den ursprungliga DQN-algoritmen med Experience Replay, epsilon-girighet och fasta Q-mål. Därefter utforskar du två intressanta utökningar som förbättrar prestanda och stabilitet i djup Q-inlärning: Double DQN och Prioritized Experience Replay.

DQN med erfarenhetsåteruppspelning

Kön med dubbla ändar

Replay-buffer för erfarenheter

DQN med Experience Replay

Den kompletta DQN-algoritmen

Epsilon-girighet

Fasta Q-mål

Implementera den fullständiga DQN-algoritmen

Double DQN

Online-nätverk och målnätverk i DDQN

Träna dubbel-DQN

Prioritized experience replay

Prioriterad erfarenhetsbuffert

Sampling från PER-bufferten

DQN med prioriterat erfarenhetsuppspelning

Djup Q-inlärning

Lär dig de grundläggande begreppen inom policygradientmetoder i DRL. Du börjar med policygradientteoremet, som utgör grunden för dessa metoder, och implementerar sedan REINFORCE-algoritmen – en kraftfull metod för att lära in policyer. Kapitlet leder dig sedan vidare till Actor-Critic-metoder, med fokus på Advantage Actor-Critic-algoritmen (A2C), som kombinerar styrkan hos både policygradient- och värdebaserade metoder för att förbättra inlärningens effektivitet och stabilitet.

Introduktion till policy gradient

Policynätverkets arkitektur

Arbeta med diskreta fördelningar

Policy gradient och REINFORCE

Handlingsval i REINFORCE

Träna REINFORCE-algoritmen

Advantage Actor-Critic

Critic-nätverk

Förlustberäkningar för Actor-Critic

Träna A2C-algoritmen

Introduktion till policygradientmetoder

Utforska Proximal Policy Optimization (PPO) för robust DRL-prestanda. Du undersöker sedan hur en entropibonus i PPO uppmuntrar utforskning genom att förhindra att modellen för tidigt låser sig till deterministiska policyer. Du lär dig också om batchuppdateringar i policygradientmetoder. Avslutningsvis går vi igenom hyperparameteroptimering med Optuna – ett kraftfullt verktyg för att optimera prestandan i dina DRL-modeller.

Proximal policy optimization

Det klippta sannolikhetskvoten

Den klippta surrogat-målfunktionen

Entropibonus och PPO

Utforska entropi

Träna PPO-algoritmen

Batchuppdateringar i policy gradient

Minibatch och DRL

A2C med batchuppdateringar

Hyperparameteroptimering med Optuna

Alternativ

Hyperparameter

Inte en hyperparameter

Hyperparameter eller inte?

Praktisk övning med Optuna

Grattis!

Proximal Policy Optimization och tips för DRL

Lär dig att träna maskiner med hjälp av djup förstärkningsinlärning (DRL). Den här kursen ger dig praktisk erfarenhet av kraftfulla algoritmer med PyTorch och Gymnasium.
Du börjar med grunderna i DRL och traditionell förstärkningsinlärning, och implementerar sedan Deep Q-Networks (DQN) med avancerade förbättringar som Prioritized Experience Replay.
Därefter fördjupar du dina kunskaper inom policygradientmetoder och utforskar branschstandardalgoritmer som Proximal Policy Optimization (PPO), innan du optimerar dina modeller med Optuna.

Upptäck de banbrytande tekniker som gör det möjligt för maskiner att lära sig och interagera med sin omgivning. Du kommer att dyka ner i världen av Deep Reinforcement Learning (DRL) och få praktisk erfarenhet av de mest kraftfulla algoritmerna som driver området framåt. Du kommer att använda PyTorch och Gymnasium-miljön för att bygga dina egna agenter.

<h2>Bemästra grunderna i djup förstärkningsinlärning</h2>

Vår resa börjar med grunderna i DRL och deras relation till traditionell förstärkningsinlärning. Därifrån går vi snabbt vidare till att implementera Deep Q-Networks (DQN) i PyTorch, inklusive avancerade förbättringar som Double DQN och Prioritized Experience Replay för att ge dina modeller extra kraft.

Ta dina färdigheter till nästa nivå när du utforskar policybaserade metoder. Du kommer att lära dig och implementera viktiga policy-gradient-tekniker som REINFORCE och Actor-Critic-metoder.

<h2>Använd banbrytande algoritmer</h2>

Du kommer att stöta på kraftfulla DRL-algoritmer som används flitigt i branschen idag, inklusive Proximal Policy Optimization (PPO). Du kommer att få praktisk erfarenhet av de tekniker som driver genombrott inom robotik, spel-AI och mer därtill. Slutligen kommer du att lära dig att optimera dina modeller med Optuna för hyperparameteroptimering.

I slutet av den här kursen kommer du att ha skaffat dig färdigheterna att tillämpa dessa banbrytande tekniker på verkliga problem och utnyttja DRL:s fulla potential!

Intermediate Deep Learning with PyTorch

Reinforcement Learning with Gymnasium in Python

Lär dig och använd kraftfulla algoritmer för djup förstärkningsinlärning, inklusive optimeringstekniker.

Djup förstärkningsinlärning i Python

Lär dig och använd kraftfulla Deep Reinforcement Learning-algoritmer, inklusive förfinings- och optimeringstekniker.

Grattis!

Create Your Free Account