Q-네트워크 아키텍처

이제 곧 첫 번째 Deep Reinforcement Learning 에이전트를 학습시킬 준비가 거의 끝났어요! 전체 학습 루프를 실행하기 전에, 에이전트의 의사결정과 학습을 이끌 신경망 아키텍처가 필요합니다.

이전 연습 문제에서 정의한 일반적인 아키텍처를 수정해 보세요. torch와 torch.nn은 이미 가져와져 있어요.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

연습 안내

첫 번째 은닉층을 인스턴스화하세요. 이 층의 입력은 차원이 state_size인 환경 상태입니다.
출력층을 인스턴스화하세요. 이 층은 각 행동에 대한 Q-value를 제공하며 차원은 action_size입니다.
forward() 메서드를 완성하세요. 이 예제에서는 활성화 함수로 torch.relu를 사용하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

class QNetwork(nn.Module):
    def __init__(self, state_size, action_size):
        super(QNetwork, self).__init__()
        # Instantiate the first hidden layer
        self.fc1 = nn.Linear(____, ____)
        self.fc2 = nn.Linear(64, 64)
        # Instantiate the output layer
        self.fc3 = nn.Linear(____, ____)
    def forward(self, state):
        # Ensure the ReLU activation function is used
        x = ____(self.fc1(torch.tensor(state)))
        x = ____(self.fc2(x))
        return self.fc3(x)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

Deep Reinforcement Learning이 전통적인 Reinforcement Learning을 어떻게 발전시키는지 알아보고, 첫 번째 Deep Q Learning 알고리즘을 학습하고 구현해 보세요.

Exercise 1: 딥 강화학습 소개 Exercise 2: 환경 및 신경망 설정 Exercise 3: DRL 학습 루프 Exercise 4: Deep Q Learning 소개 Exercise 5: 딥러닝과 DQN Exercise 6: Q-네트워크 아키텍처

현재 연습

Exercise 7: Q-Network 인스턴스화하기 Exercise 8: 기본형 DQN 알고리즘 Exercise 9: 기본 DQN 행동 선택 Exercise 10: 기본 DQN 손실 함수 Exercise 11: 베어본 DQN 훈련하기

Experience Replay, epsilon-greedy, 고정 Q-targets를 갖춘 원조 DQN 알고리즘을 구현하며 Deep Q-learning을 깊이 있게 다룹니다. 이어서 Deep Q-learning의 성능과 안정성을 개선하는 두 가지 흥미로운 확장 기법인 Double DQN과 Prioritized Experience Replay를 살펴봅니다.

Exercise 1: Experience Replay를 사용한 DQN Exercise 2: Double-Ended Queue 살펴보기 Exercise 3: Experience replay 버퍼 Exercise 4: 경험 재현을 활용한 DQN Exercise 5: 완전한 DQN 알고리즘 Exercise 6: Epsilon-greediness Exercise 7: 고정 Q-타깃 Exercise 8: 완전한 DQN 알고리즘 구현하기 Exercise 9: Double DQN Exercise 10: DDQN의 온라인 네트워크와 타깃 네트워크 Exercise 11: Double DQN 학습 Exercise 12: 우선순위 경험 재생 Exercise 13: 우선순위 기반 경험 재생 버퍼 Exercise 14: PER 버퍼에서 샘플링하기 Exercise 15: 우선순위 기반 경험 재현을 적용한 DQN

DRL에서 사용되는 정책 경사(policy gradient) 방법의 핵심 개념을 학습합니다. 이 방법들의 토대가 되는 정책 경사 정리부터 시작해, 정책을 학습하는 강력한 접근법인 REINFORCE 알고리즘을 구현합니다. 이어서 Actor-Critic 방법을 다루며, 정책 경사와 가치 기반 방법의 장점을 결합해 학습 효율성과 안정성을 높이는 Advantage Actor-Critic(A2C) 알고리즘에 집중합니다.

Exercise 1: Policy Gradient 소개 Exercise 2: 정책 네트워크 아키텍처 Exercise 3: 이산 분포 다루기 Exercise 4: 정책 그래디언트와 REINFORCE Exercise 5: REINFORCE에서의 행동 선택 Exercise 6: REINFORCE 알고리즘 학습시키기 Exercise 7: Advantage Actor Critic Exercise 8: 크리틱 네트워크 Exercise 9: Actor-Critic 손실 계산 Exercise 10: A2C 알고리즘 학습시키기

강건한 DRL 성능을 위한 Proximal Policy Optimization(PPO)을 탐구합니다. 다음으로, 결정적 정책에 성급히 수렴하는 것을 막아 탐색을 장려하는 엔트로피 보너스를 PPO에서 어떻게 사용하는지 살펴봅니다. 또한 정책 경사 방법에서의 배치 업데이트를 학습합니다. 마지막으로, DRL 모델의 성능을 높이기 위한 강력한 도구인 Optuna로 하이퍼파라미터를 최적화하는 방법을 배웁니다.

Exercise 1: Proximal Policy Optimization Exercise 2: 클리핑된 확률 비율 Exercise 3: 클리핑된 대리 목적 함수 Exercise 4: 엔트로피 보너스와 PPO Exercise 5: 엔트로피 놀이터 Exercise 6: PPO 알고리즘 학습시키기 Exercise 7: 정책 그래디언트에서의 배치 업데이트 Exercise 8: 미니배치와 DRL Exercise 9: 배치 업데이트가 있는 A2C Exercise 10: Optuna로 하이퍼파라미터 최적화 Exercise 11: 하이퍼파라미터일까요, 아닐까요?Exercise 12: Optuna 실습 Exercise 13: 축하합니다!