Hàng đợi hai đầu (double-ended queue)

Làm quen với cấu trúc dữ liệu Double-Ended Queue mà bạn sẽ dùng làm replay buffer.

Double-Ended Queue, hay deque, là một hàng đợi có dung lượng giới hạn, sẽ “quên” các phần tử cũ nhất khi phần tử mới được thêm vào theo thời gian. Điều này tạo ra một lớp trừu tượng rất phù hợp để làm replay buffer.

Bài tập này là một phần của khóa học

Deep Reinforcement Learning bằng Python

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

from collections import deque
buffer = deque(range(10))
print('Buffer initialized as:', buffer)
# Append 10 to the right of the buffer
buffer.____
print('Buffer after appending:', buffer)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Deep Reinforcement Learning bằng Python

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Khám phá cách deep reinforcement learning cải tiến so với Reinforcement Learning truyền thống, đồng thời tìm hiểu và triển khai thuật toán Deep Q Learning đầu tiên của bạn.

Exercise 1: Giới thiệu về deep reinforcement learning Exercise 2: Thiết lập môi trường và mạng nơ-ron Exercise 3: Vòng lặp huấn luyện DRL Exercise 4: Giới thiệu về deep Q learning Exercise 5: Deep learning và DQN Exercise 6: Kiến trúc Q-Network Exercise 7: Khởi tạo Q-Network Exercise 8: Thuật toán DQN tối giản Exercise 9: Chọn hành động với DQN tối giản Exercise 10: Hàm mất mát DQN bản tối giản Exercise 11: Huấn luyện DQN bản tối giản

Đi sâu vào Deep Q-learning bằng cách triển khai thuật toán DQN gốc, với Experience Replay, epsilon-greediness và fixed Q-targets. Vượt ra ngoài DQN, bạn sẽ khám phá hai phần mở rộng thú vị giúp cải thiện hiệu năng và độ ổn định của Deep Q-learning: Double DQN và Prioritized Experience Replay.

Exercise 1: DQN với experience replay Exercise 2: Hàng đợi hai đầu (double-ended queue)

Bài tập hiện tại

Exercise 3: Bộ đệm experience replay Exercise 4: DQN với experience replay Exercise 5: Thuật toán DQN hoàn chỉnh Exercise 6: Epsilon-greediness Exercise 7: Fixed Q-targets Exercise 8: Hiện thực thuật toán DQN hoàn chỉnh Exercise 9: Double DQN Exercise 10: Mạng online và mạng target trong DDQN Exercise 11: Huấn luyện Double DQN Exercise 12: Phát lại kinh nghiệm theo mức độ ưu tiên Exercise 13: Bộ đệm prioritized experience replay Exercise 14: Lấy mẫu từ bộ đệm PER Exercise 15: DQN với prioritized experience replay

Tìm hiểu các khái niệm nền tảng của phương pháp policy gradient trong DRL. Bạn sẽ bắt đầu với định lý policy gradient, nền tảng của các phương pháp này. Sau đó, bạn sẽ triển khai thuật toán REINFORCE, một cách tiếp cận mạnh mẽ để học policy. Chương này sẽ hướng dẫn bạn qua các phương pháp Actor-Critic, tập trung vào thuật toán Advantage Actor-Critic (A2C), kết hợp điểm mạnh của cả policy gradient và phương pháp dựa trên giá trị để tăng hiệu quả và ổn định khi học.

Exercise 1: Giới thiệu về policy gradient Exercise 2: Kiến trúc mạng policy Exercise 3: Làm việc với phân phối rời rạc Exercise 4: Policy Gradient và REINFORCE Exercise 5: Chọn hành động trong REINFORCE Exercise 6: Huấn luyện thuật toán REINFORCE Exercise 7: Advantage Actor-Critic Exercise 8: Mạng Critic Exercise 9: Tính toán loss của Actor–Critic Exercise 10: Huấn luyện thuật toán A2C

Khám phá Proximal Policy Optimization (PPO) để đạt hiệu năng DRL vững chắc. Tiếp theo, bạn sẽ tìm hiểu việc dùng entropy bonus trong PPO, giúp khuyến khích khám phá bằng cách ngăn hội tụ sớm vào các policy tất định. Bạn cũng sẽ học về cập nhật theo lô (batch) trong các phương pháp policy gradient. Cuối cùng, bạn sẽ tìm hiểu cách tối ưu siêu tham số với Optuna, một công cụ mạnh mẽ để tối ưu hiệu năng cho các mô hình DRL của bạn.

Exercise 1: Tối ưu hóa chính sách tiệm cận (Proximal Policy Optimization)Exercise 2: Tỷ lệ xác suất đã được kẹp (clipped)Exercise 3: Hàm mục tiêu surrogate có clip Exercise 4: Thưởng entropy và PPO Exercise 5: Sân chơi entropy Exercise 6: Huấn luyện thuật toán PPO Exercise 7: Cập nhật theo lô trong policy gradient Exercise 8: Minibatch và DRL Exercise 9: A2C với cập nhật theo batch Exercise 10: Tối ưu siêu tham số với Optuna Exercise 11: Siêu tham số hay không?Exercise 12: Thực hành với Optuna Exercise 13: Chúc mừng bạn!