Q-Network 인스턴스화하기

이제 네트워크 구조를 정의했으니, 에이전트가 실제로 사용할 네트워크와 그 옵티마이저를 인스턴스화할 차례예요. Lunar Lander 환경의 상태 공간 차원은 8이고, 행동 공간 차원은 4입니다(0: 아무것도 하지 않음, 1: 왼쪽 보조 추진기, 2: 메인 엔진, 3: 오른쪽 보조 추진기).

이전 연습 문제에서 만든 QNetwork 클래스가 제공됩니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

연습 안내

Lunar Lander 환경을 위한 Q Network를 인스턴스화하세요.
신경망에 대해 Adam 옵티마이저를 정의하고, 학습률을 0.0001로 지정하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

state_size = 8
action_size = 4
# Instantiate the Q Network
q_network = QNetwork(____, ____)
# Specify the optimizer learning rate
optimizer = optim.Adam(q_network.parameters(), ____)

print("Q-Network initialized as:\n", q_network)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

Deep Reinforcement Learning이 전통적인 Reinforcement Learning을 어떻게 발전시키는지 알아보고, 첫 번째 Deep Q Learning 알고리즘을 학습하고 구현해 보세요.

Exercise 1: 딥 강화학습 소개 Exercise 2: 환경 및 신경망 설정 Exercise 3: DRL 학습 루프 Exercise 4: Deep Q Learning 소개 Exercise 5: 딥러닝과 DQN Exercise 6: Q-네트워크 아키텍처 Exercise 7: Q-Network 인스턴스화하기

현재 연습

Exercise 8: 기본형 DQN 알고리즘 Exercise 9: 기본 DQN 행동 선택 Exercise 10: 기본 DQN 손실 함수 Exercise 11: 베어본 DQN 훈련하기

Experience Replay, epsilon-greedy, 고정 Q-targets를 갖춘 원조 DQN 알고리즘을 구현하며 Deep Q-learning을 깊이 있게 다룹니다. 이어서 Deep Q-learning의 성능과 안정성을 개선하는 두 가지 흥미로운 확장 기법인 Double DQN과 Prioritized Experience Replay를 살펴봅니다.

Exercise 1: Experience Replay를 사용한 DQN Exercise 2: Double-Ended Queue 살펴보기 Exercise 3: Experience replay 버퍼 Exercise 4: 경험 재현을 활용한 DQN Exercise 5: 완전한 DQN 알고리즘 Exercise 6: Epsilon-greediness Exercise 7: 고정 Q-타깃 Exercise 8: 완전한 DQN 알고리즘 구현하기 Exercise 9: Double DQN Exercise 10: DDQN의 온라인 네트워크와 타깃 네트워크 Exercise 11: Double DQN 학습 Exercise 12: 우선순위 경험 재생 Exercise 13: 우선순위 기반 경험 재생 버퍼 Exercise 14: PER 버퍼에서 샘플링하기 Exercise 15: 우선순위 기반 경험 재현을 적용한 DQN

DRL에서 사용되는 정책 경사(policy gradient) 방법의 핵심 개념을 학습합니다. 이 방법들의 토대가 되는 정책 경사 정리부터 시작해, 정책을 학습하는 강력한 접근법인 REINFORCE 알고리즘을 구현합니다. 이어서 Actor-Critic 방법을 다루며, 정책 경사와 가치 기반 방법의 장점을 결합해 학습 효율성과 안정성을 높이는 Advantage Actor-Critic(A2C) 알고리즘에 집중합니다.

Exercise 1: Policy Gradient 소개 Exercise 2: 정책 네트워크 아키텍처 Exercise 3: 이산 분포 다루기 Exercise 4: 정책 그래디언트와 REINFORCE Exercise 5: REINFORCE에서의 행동 선택 Exercise 6: REINFORCE 알고리즘 학습시키기 Exercise 7: Advantage Actor Critic Exercise 8: 크리틱 네트워크 Exercise 9: Actor-Critic 손실 계산 Exercise 10: A2C 알고리즘 학습시키기

강건한 DRL 성능을 위한 Proximal Policy Optimization(PPO)을 탐구합니다. 다음으로, 결정적 정책에 성급히 수렴하는 것을 막아 탐색을 장려하는 엔트로피 보너스를 PPO에서 어떻게 사용하는지 살펴봅니다. 또한 정책 경사 방법에서의 배치 업데이트를 학습합니다. 마지막으로, DRL 모델의 성능을 높이기 위한 강력한 도구인 Optuna로 하이퍼파라미터를 최적화하는 방법을 배웁니다.

Exercise 1: Proximal Policy Optimization Exercise 2: 클리핑된 확률 비율 Exercise 3: 클리핑된 대리 목적 함수 Exercise 4: 엔트로피 보너스와 PPO Exercise 5: 엔트로피 놀이터 Exercise 6: PPO 알고리즘 학습시키기 Exercise 7: 정책 그래디언트에서의 배치 업데이트 Exercise 8: 미니배치와 DRL Exercise 9: 배치 업데이트가 있는 A2C Exercise 10: Optuna로 하이퍼파라미터 최적화 Exercise 11: 하이퍼파라미터일까요, 아닐까요?Exercise 12: Optuna 실습 Exercise 13: 축하합니다!