Mạng online và mạng target trong DDQN

Trong Double DQN, cũng như trong DQN với Q-target cố định, có hai mạng neural cùng hoạt động: mạng online và mạng target. Điều quan trọng là bạn cần hiểu mục đích riêng của từng mạng và vai trò của chúng trong vòng lặp huấn luyện DDQN.

Bài tập này là một phần của khóa học

Deep Reinforcement Learning bằng Python

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Deep Reinforcement Learning bằng Python

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Khám phá cách deep reinforcement learning cải tiến so với Reinforcement Learning truyền thống, đồng thời tìm hiểu và triển khai thuật toán Deep Q Learning đầu tiên của bạn.

Exercise 1: Giới thiệu về deep reinforcement learning Exercise 2: Thiết lập môi trường và mạng nơ-ron Exercise 3: Vòng lặp huấn luyện DRL Exercise 4: Giới thiệu về deep Q learning Exercise 5: Deep learning và DQN Exercise 6: Kiến trúc Q-Network Exercise 7: Khởi tạo Q-Network Exercise 8: Thuật toán DQN tối giản Exercise 9: Chọn hành động với DQN tối giản Exercise 10: Hàm mất mát DQN bản tối giản Exercise 11: Huấn luyện DQN bản tối giản

Đi sâu vào Deep Q-learning bằng cách triển khai thuật toán DQN gốc, với Experience Replay, epsilon-greediness và fixed Q-targets. Vượt ra ngoài DQN, bạn sẽ khám phá hai phần mở rộng thú vị giúp cải thiện hiệu năng và độ ổn định của Deep Q-learning: Double DQN và Prioritized Experience Replay.

Exercise 1: DQN với experience replay Exercise 2: Hàng đợi hai đầu (double-ended queue)Exercise 3: Bộ đệm experience replay Exercise 4: DQN với experience replay Exercise 5: Thuật toán DQN hoàn chỉnh Exercise 6: Epsilon-greediness Exercise 7: Fixed Q-targets Exercise 8: Hiện thực thuật toán DQN hoàn chỉnh Exercise 9: Double DQN Exercise 10: Mạng online và mạng target trong DDQN

Bài tập hiện tại

Exercise 11: Huấn luyện Double DQN Exercise 12: Phát lại kinh nghiệm theo mức độ ưu tiên Exercise 13: Bộ đệm prioritized experience replay Exercise 14: Lấy mẫu từ bộ đệm PER Exercise 15: DQN với prioritized experience replay

Tìm hiểu các khái niệm nền tảng của phương pháp policy gradient trong DRL. Bạn sẽ bắt đầu với định lý policy gradient, nền tảng của các phương pháp này. Sau đó, bạn sẽ triển khai thuật toán REINFORCE, một cách tiếp cận mạnh mẽ để học policy. Chương này sẽ hướng dẫn bạn qua các phương pháp Actor-Critic, tập trung vào thuật toán Advantage Actor-Critic (A2C), kết hợp điểm mạnh của cả policy gradient và phương pháp dựa trên giá trị để tăng hiệu quả và ổn định khi học.

Exercise 1: Giới thiệu về policy gradient Exercise 2: Kiến trúc mạng policy Exercise 3: Làm việc với phân phối rời rạc Exercise 4: Policy Gradient và REINFORCE Exercise 5: Chọn hành động trong REINFORCE Exercise 6: Huấn luyện thuật toán REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Mạng Critic Exercise 9: Tính toán loss của Actor–Critic Exercise 10: Huấn luyện thuật toán A2C

Khám phá Proximal Policy Optimization (PPO) để đạt hiệu năng DRL vững chắc. Tiếp theo, bạn sẽ tìm hiểu việc dùng entropy bonus trong PPO, giúp khuyến khích khám phá bằng cách ngăn hội tụ sớm vào các policy tất định. Bạn cũng sẽ học về cập nhật theo lô (batch) trong các phương pháp policy gradient. Cuối cùng, bạn sẽ tìm hiểu cách tối ưu siêu tham số với Optuna, một công cụ mạnh mẽ để tối ưu hiệu năng cho các mô hình DRL của bạn.

Exercise 1: Tối ưu hóa chính sách tiệm cận (Proximal Policy Optimization)Exercise 2: Tỷ lệ xác suất đã được kẹp (clipped)Exercise 3: Hàm mục tiêu surrogate có clip Exercise 4: Thưởng entropy và PPO Exercise 5: Sân chơi entropy Exercise 6: Huấn luyện thuật toán PPO Exercise 7: Cập nhật theo lô trong policy gradient Exercise 8: Minibatch và DRL Exercise 9: A2C với cập nhật theo batch Exercise 10: Tối ưu siêu tham số với Optuna Exercise 11: Siêu tham số hay không?Exercise 12: Thực hành với Optuna Exercise 13: Chúc mừng bạn!