Zjisti, jak hluboké zpětnovazební učení překonává tradiční zpětnovazební učení, a implementuj svůj první algoritmus Deep Q Learning.

Úvod do deep reinforcement learningu

Nastavení prostředí a neuronové sítě

Tréninková smyčka DRL

Úvod do deep Q learningu

Deep learning a DQN

Architektura Q-sítě

Vytvoření instance Q-Network

Základní algoritmus DQN

Výběr akce v základním DQN

Ztrátová funkce základního DQN

Trénování základního DQN

Úvod do hlubokého zpětnovazebního učení

Ponořil/a ses do hlubokého Q-učení a implementuješ původní algoritmus DQN, který zahrnuje Experience Replay, epsilon-greedy strategii a fixní Q-targety. Kromě DQN prozkoumáš také dvě zajímavá rozšíření, která zlepšují výkon a stabilitu hlubokého Q-učení: Double DQN a Prioritized Experience Replay.

DQN s experience replay

Fronta s dvojitým koncem

Buffer pro experience replay

Kompletní algoritmus DQN

Epsilon-hladovost

Fixní Q-targety

Implementace kompletního algoritmu DQN

Double DQN

Možnosti

Online síť

Cílová síť

Online síť a cílová síť v DDQN

Trénování double DQN

Prioritized experience replay

Buffer pro Prioritized Experience Replay

Vzorkování z PER bufferu

DQN s prioritizovaným experience replay

Hluboké Q-učení

Seznámíš se se základními koncepty metod gradientu politiky v DRL. Začneš větou o gradientu politiky, která tvoří základ těchto metod. Pak implementuješ algoritmus REINFORCE, výkonný přístup k učení politik. Kapitola tě poté provede metodami Actor-Critic se zaměřením na algoritmus Advantage Actor-Critic (A2C), který kombinuje silné stránky gradientu politiky i hodnotových metod pro vyšší efektivitu a stabilitu učení.

Úvod do policy gradient

Architektura policy network

Práce s diskrétními rozděleními

Policy gradient a REINFORCE

Výběr akce v algoritmu REINFORCE

Trénink algoritmu REINFORCE

Advantage Actor Critic

Síť kritika

Výpočet ztrát Actor-Critic

Trénování algoritmu A2C

Úvod do metod gradientu politiky

Prozkoumej Proximal Policy Optimization (PPO) pro spolehlivý výkon DRL. Pak se podíváš na použití entropického bonusu v PPO, který podporuje průzkum prostředí a brání předčasné konvergenci k deterministickým politikám. Dozvíš se také o dávkových aktualizacích v metodách gradientu politiky. Na závěr se naučíš optimalizovat hyperparametry pomocí Optuny – výkonného nástroje pro ladění výkonu DRL modelů.

Proximal policy optimization

Oříznutý poměr pravděpodobností

Oříznutá náhradní objektivní funkce

Entropický bonus a PPO

Hraní si s entropií

Trénování algoritmu PPO

Dávkové aktualizace v policy gradient metodách

Minibatch a DRL

A2C s dávkovými aktualizacemi

Optimalizace hyperparametrů s Optunou

Hyperparametr, nebo ne?

Optuna v praxi

Gratulujeme!

Proximal Policy Optimization a tipy pro DRL

Vydej se na cestu, při které naučíš stroje učit se pomocí hlubokého zpětnovazebního učení (DRL). Kurz nabízí praktické zkušenosti s výkonnými algoritmy v PyTorchi a Gymnasiu.
Začneš základy DRL a tradičního zpětnovazebního učení, pak implementuješ Deep Q-Networks (DQN) s pokročilými vylepšeními, jako je Prioritized Experience Replay.
Posunout se dál ti pomůžou metody založené na politikách a průmyslové standardy jako Proximal Policy Optimization (PPO) – a nakonec své modely vyladíš pomocí Optuny.

Objevte nejmodernější techniky, které umožňují strojům učit se a interagovat se svým prostředím. Ponoříte se do světa hlubokého posilovaného učení (DRL) a získáte praktické zkušenosti s nejvýkonnějšími algoritmy, které tento obor posouvají vpřed. K vytvoření vlastních agentů budete používat PyTorch a prostředí Gymnasium.

<h2>Ovládněte základy hlubokého posilovaného učení</h2>

Naše cesta začíná základy DRL a jejich vztahem k tradičnímu Reinforcement Learning. Odtud se rychle přesuneme k implementaci Deep Q-Networks (DQN) v PyTorch, včetně pokročilých vylepšení, jako jsou Double DQN a Prioritized Experience Replay, abyste své modely výrazně posílili.

Posuňte své dovednosti na vyšší úroveň při objevování metod založených na politice. Naučíte se a implementujete základní techniky policy-gradient, jako jsou metody REINFORCE a Actor-Critic.

<h2>Používejte nejmodernější algoritmy</h2>

Setkáte se s výkonnými algoritmy DRL, které se dnes v průmyslu běžně používají, včetně Proximal Policy Optimization (PPO). Získáte praktické zkušenosti s technikami, které stojí za průlomovými objevy v robotice, herní umělé inteligenci a dalších oblastech. Nakonec se naučíte optimalizovat své modely pomocí Optuny pro ladění hyperparametrů.

Na konci tohoto kurzu budeš mít dovednosti k tomu, abys tyto špičkové techniky aplikoval/a na problémy z reálného světa a využil/a plný potenciál DRL!

Intermediate Deep Learning with PyTorch

Reinforcement Learning with Gymnasium in Python

Naučte se a používejte silné algoritmy hlubokého posilovaného učení, včetně optimalizace.

Deep Reinforcement Learning v Pythonu

Naučte se používat výkonné algoritmy Deep Reinforcement Learning, včetně technik zpřesňování a optimalizace.

Double DQN

Create Your Free Account