Discover how deep reinforcement learning improves upon traditional Reinforcement Learning while studying and implementing your first Deep Q Learning algorithm.

Introduction to deep reinforcement learning

Environment and neural network setup

DRL training loop

Introduction to deep Q learning

Deep learning and DQN

The Q-Network architecture

Instantiating the Q-Network

The barebone DQN algorithm

Barebone DQN action selection

Barebone DQN loss function

Training the barebone DQN

Introduction to Deep Reinforcement Learning

Dive into Deep Q-learning by implementing the original DQN algorithm, featuring Experience Replay, epsilon-greediness and fixed Q-targets. Beyond DQN, you will then explore two fascinating extensions that improve the performance and stability of Deep Q-learning:  Double DQN and Prioritized Experience Replay.

DQN with experience replay

The double-ended queue

Experience replay buffer

The complete DQN algorithm

Epsilon-greediness

Fixed Q-targets

Implementing the complete DQN algorithm

Double DQN

Online network and target network in DDQN

Training the double DQN

Prioritized experience replay

Prioritized experience replay buffer

Sampling from the PER buffer

DQN with prioritized experience replay

Deep Q-learning

Learn about the foundational concepts of policy gradient methods found in DRL. You will begin with the policy gradient theorem, which forms the basis for these methods. Then, you will implement the REINFORCE algorithm, a powerful approach to learning policies. The chapter will then guide you through Actor-Critic methods, focusing on the Advantage Actor-Critic (A2C) algorithm, which combines the strengths of both policy gradient and value-based methods to enhance learning efficiency and stability.

Introduction to policy gradient

The policy network architecture

Working with discrete distributions

Policy gradient and REINFORCE

Action selection in REINFORCE

Training the REINFORCE algorithm

Advantage Actor Critic

Critic network

Actor Critic loss calculations

Training the A2C algorithm

Introduction to Policy Gradient Methods

Explore Proximal Policy Optimization (PPO) for robust DRL performance. Next, you will examine using an entropy bonus in PPO, which encourages exploration by preventing premature convergence to deterministic policies. You'll also learn about batch updates in policy gradient methods. Finally, you will learn about hyperparameter optimization with Optuna, a powerful tool for optimizing performance in your DRL models.

Optimisasi kebijakan proksimal

Rasio probabilitas yang di-klip

Fungsi objektif surrogate terpangkas (clipped)

Bonus entropi dan PPO

Ruang bermain entropi

Melatih algoritma PPO

Pembaruan batch dalam policy gradient

Minibatch dan DRL

A2C dengan pembaruan batch

Optimisasi hyperparameter dengan Optuna

Opsi

Hyperparameter

Bukan hyperparameter

Hyperparameter atau bukan?

Praktik langsung dengan Optuna

Selamat!

Proximal Policy Optimization and DRL Tips

Mulai perjalanan untuk memberdayakan mesin melalui Deep Reinforcement Learning (DRL). Kursus ini menawarkan pengalaman praktis dengan algoritma yang kuat menggunakan PyTorch dan Gymnasium.
Mulailah dengan fondasi DRL dan Reinforcement Learning tradisional, lalu implementasikan Deep Q-Networks (DQN) dengan penyempurnaan lanjutan seperti Prioritized Experience Replay.
Kembangkan keterampilan Anda dengan metode berbasis kebijakan dan jelajahi algoritma standar industri seperti Proximal Policy Optimization (PPO) sebelum mengoptimalkan model menggunakan Optuna.

Temukan teknik-teknik terdepan yang memungkinkan mesin untuk belajar dan berinteraksi dengan lingkungannya. Anda akan menyelami dunia Deep Reinforcement Learning (DRL) dan mendapatkan pengalaman praktis dengan algoritma-algoritma paling canggih yang mendorong perkembangan bidang ini. Anda akan menggunakan PyTorch dan lingkungan Gymnasium untuk membangun agen Anda sendiri.

<h2>Menguasai Dasar-Dasar Pembelajaran Penguatan Mendalam</h2>

Perjalanan kami dimulai dengan dasar-dasar DRL dan hubungannya dengan Reinforcement Learning tradisional. Dari sana, kita segera beralih ke implementasi Deep Q-Networks (DQN) di PyTorch, termasuk penyempurnaan lanjutan seperti Double DQN dan Prioritized Experience Replay untuk meningkatkan kinerja model Anda.

Tingkatkan keterampilan Anda ke level berikutnya saat Anda menjelajahi metode berbasis kebijakan. Anda akan mempelajari dan menerapkan teknik-teknik policy-gradient yang esensial, seperti REINFORCE dan metode Actor-Critic.

<h2>Gunakan Algoritma Terkini</h2>

Anda akan menemui algoritma DRL yang kuat yang umum digunakan di industri saat ini, termasuk Proximal Policy Optimization (PPO). Anda akan memperoleh pengalaman praktis dalam menerapkan teknik-teknik yang mendorong terobosan di bidang robotika, kecerdasan buatan (AI) dalam permainan, dan bidang-bidang lainnya. Akhirnya, Anda akan belajar mengoptimalkan model Anda menggunakan Optuna untuk penyesuaian hiperparameter.

Pada akhir kursus ini, Anda akan menguasai keterampilan untuk menerapkan teknik-teknik mutakhir ini pada masalah dunia nyata dan memanfaatkan potensi penuh DRL!

Intermediate Deep Learning with PyTorch

Reinforcement Learning with Gymnasium in Python

Pelajari dan gunakan algoritma Pembelajaran Penguatan Mendalam, termasuk teknik penyempurnaan.

Deep Reinforcement Learning dengan Python

Pelajari dan terapkan algoritma Deep Reinforcement Learning yang canggih, termasuk teknik penyempurnaan dan optimasi.

Pembelajaran Penguatan dalam Python

Principal Machine Learning Engineer, Komment

Pembaruan batch pada policy gradient

Pembaruan gradien per langkah vs batch

Batching pembaruan A2C / PPO

Loop pelatihan A2C dengan pembaruan batch

A2C / PPO dengan banyak agen

Rollout dan minibatch

PPO dengan banyak epoch

Ayo berlatih!

Proximal Policy Optimization and DRL Tips - Pembaruan batch dalam policy gradient

Pembaruan batch dalam policy gradient

Create Your Free Account