DDQN의 온라인 네트워크와 타깃 네트워크

Double DQN에서는, 고정 Q-타깃을 사용하는 DQN과 마찬가지로 두 개의 신경망이 사용돼요: 온라인 네트워크와 타깃 네트워크입니다. DDQN 학습 루프에서 각각의 목적과 역할을 정확히 이해하는 것이 중요해요.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

강의 보기

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

연습 시작

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

272 reviews

무료로 강의 시작하기

Deep Reinforcement Learning이 전통적인 Reinforcement Learning을 어떻게 발전시키는지 알아보고, 첫 번째 Deep Q Learning 알고리즘을 학습하고 구현해 보세요.

Exercise 1: 딥 강화학습 소개 Exercise 2: 환경 및 신경망 설정 Exercise 3: DRL 학습 루프 Exercise 4: Deep Q Learning 소개 Exercise 5: 딥러닝과 DQN Exercise 6: Q-네트워크 아키텍처 Exercise 7: Q-Network 인스턴스화하기 Exercise 8: 기본형 DQN 알고리즘 Exercise 9: 기본 DQN 행동 선택 Exercise 10: 기본 DQN 손실 함수 Exercise 11: 베어본 DQN 훈련하기

Experience Replay, epsilon-greedy, 고정 Q-targets를 갖춘 원조 DQN 알고리즘을 구현하며 Deep Q-learning을 깊이 있게 다룹니다. 이어서 Deep Q-learning의 성능과 안정성을 개선하는 두 가지 흥미로운 확장 기법인 Double DQN과 Prioritized Experience Replay를 살펴봅니다.

Exercise 1: Experience Replay를 사용한 DQN Exercise 2: Double-Ended Queue 살펴보기 Exercise 3: Experience replay 버퍼 Exercise 4: 경험 재현을 활용한 DQN Exercise 5: 완전한 DQN 알고리즘 Exercise 6: Epsilon-greediness Exercise 7: 고정 Q-타깃 Exercise 8: 완전한 DQN 알고리즘 구현하기 Exercise 9: Double DQN Exercise 10: DDQN의 온라인 네트워크와 타깃 네트워크

현재 연습

Exercise 11: Double DQN 학습 Exercise 12: 우선순위 경험 재생 Exercise 13: 우선순위 기반 경험 재생 버퍼 Exercise 14: PER 버퍼에서 샘플링하기 Exercise 15: 우선순위 기반 경험 재현을 적용한 DQN

DRL에서 사용되는 정책 경사(policy gradient) 방법의 핵심 개념을 학습합니다. 이 방법들의 토대가 되는 정책 경사 정리부터 시작해, 정책을 학습하는 강력한 접근법인 REINFORCE 알고리즘을 구현합니다. 이어서 Actor-Critic 방법을 다루며, 정책 경사와 가치 기반 방법의 장점을 결합해 학습 효율성과 안정성을 높이는 Advantage Actor-Critic(A2C) 알고리즘에 집중합니다.

Exercise 1: Policy Gradient 소개 Exercise 2: 정책 네트워크 아키텍처 Exercise 3: 이산 분포 다루기 Exercise 4: 정책 그래디언트와 REINFORCE Exercise 5: REINFORCE에서의 행동 선택 Exercise 6: REINFORCE 알고리즘 학습시키기 Exercise 7: Advantage Actor Critic Exercise 8: 크리틱 네트워크 Exercise 9: Actor-Critic 손실 계산 Exercise 10: A2C 알고리즘 학습시키기

강건한 DRL 성능을 위한 Proximal Policy Optimization(PPO)을 탐구합니다. 다음으로, 결정적 정책에 성급히 수렴하는 것을 막아 탐색을 장려하는 엔트로피 보너스를 PPO에서 어떻게 사용하는지 살펴봅니다. 또한 정책 경사 방법에서의 배치 업데이트를 학습합니다. 마지막으로, DRL 모델의 성능을 높이기 위한 강력한 도구인 Optuna로 하이퍼파라미터를 최적화하는 방법을 배웁니다.

Exercise 1: Proximal Policy Optimization Exercise 2: 클리핑된 확률 비율 Exercise 3: 클리핑된 대리 목적 함수 Exercise 4: 엔트로피 보너스와 PPO Exercise 5: 엔트로피 놀이터 Exercise 6: PPO 알고리즘 학습시키기 Exercise 7: 정책 그래디언트에서의 배치 업데이트 Exercise 8: 미니배치와 DRL Exercise 9: 배치 업데이트가 있는 A2C Exercise 10: Optuna로 하이퍼파라미터 최적화 Exercise 11: 하이퍼파라미터일까요, 아닐까요?Exercise 12: Optuna 실습 Exercise 13: 축하합니다!