이산 분포 다루기

이제 곧 확률적 정책을 다루게 됩니다. 확률적 정책은 특정 상태에서의 에이전트 행동을 행동들에 대한 확률분포로 표현합니다.

PyTorch는 torch.distributions.Categorical 클래스를 사용해 이산 분포를 표현할 수 있으며, 이번에 이를 실습해 보겠습니다.

입력으로 사용하는 숫자들이 확률처럼 합이 1이 아닐 필요는 없다는 것도 보게 됩니다. 값들은 자동으로 정규화됩니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

연습 안내

범주형 확률분포를 인스턴스화하세요.
분포에서 표본 하나를 추출하세요.
확률로 사용할, 합이 1이 되는 양수 3개를 지정하세요.
양수 5개를 지정하세요. Categorical이 이를 조용히 정규화해 확률을 얻습니다.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

from torch.distributions import Categorical

def sample_from_distribution(probs):
    print(f"\nInput: {probs}")
    probs = torch.tensor(probs, dtype=torch.float32)
    # Instantiate the categorical distribution
    dist = ____(probs)
    # Take one sample from the distribution
    sampled_index = ____
    print(f"Taking one sample: index {sampled_index}, with associated probability {dist.probs[sampled_index]:.2f}")

# Specify 3 positive numbers summing to 1
sample_from_distribution([.3, ____, ____])
# Specify 5 positive numbers that do not sum to 1
sample_from_distribution([2, ____, ____, ____, ____])

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

Deep Reinforcement Learning이 전통적인 Reinforcement Learning을 어떻게 발전시키는지 알아보고, 첫 번째 Deep Q Learning 알고리즘을 학습하고 구현해 보세요.

Exercise 1: 딥 강화학습 소개 Exercise 2: 환경 및 신경망 설정 Exercise 3: DRL 학습 루프 Exercise 4: Deep Q Learning 소개 Exercise 5: 딥러닝과 DQN Exercise 6: Q-네트워크 아키텍처 Exercise 7: Q-Network 인스턴스화하기 Exercise 8: 기본형 DQN 알고리즘 Exercise 9: 기본 DQN 행동 선택 Exercise 10: 기본 DQN 손실 함수 Exercise 11: 베어본 DQN 훈련하기

Experience Replay, epsilon-greedy, 고정 Q-targets를 갖춘 원조 DQN 알고리즘을 구현하며 Deep Q-learning을 깊이 있게 다룹니다. 이어서 Deep Q-learning의 성능과 안정성을 개선하는 두 가지 흥미로운 확장 기법인 Double DQN과 Prioritized Experience Replay를 살펴봅니다.

Exercise 1: Experience Replay를 사용한 DQN Exercise 2: Double-Ended Queue 살펴보기 Exercise 3: Experience replay 버퍼 Exercise 4: 경험 재현을 활용한 DQN Exercise 5: 완전한 DQN 알고리즘 Exercise 6: Epsilon-greediness Exercise 7: 고정 Q-타깃 Exercise 8: 완전한 DQN 알고리즘 구현하기 Exercise 9: Double DQN Exercise 10: DDQN의 온라인 네트워크와 타깃 네트워크 Exercise 11: Double DQN 학습 Exercise 12: 우선순위 경험 재생 Exercise 13: 우선순위 기반 경험 재생 버퍼 Exercise 14: PER 버퍼에서 샘플링하기 Exercise 15: 우선순위 기반 경험 재현을 적용한 DQN

DRL에서 사용되는 정책 경사(policy gradient) 방법의 핵심 개념을 학습합니다. 이 방법들의 토대가 되는 정책 경사 정리부터 시작해, 정책을 학습하는 강력한 접근법인 REINFORCE 알고리즘을 구현합니다. 이어서 Actor-Critic 방법을 다루며, 정책 경사와 가치 기반 방법의 장점을 결합해 학습 효율성과 안정성을 높이는 Advantage Actor-Critic(A2C) 알고리즘에 집중합니다.

Exercise 1: Policy Gradient 소개 Exercise 2: 정책 네트워크 아키텍처 Exercise 3: 이산 분포 다루기

현재 연습

Exercise 4: 정책 그래디언트와 REINFORCE Exercise 5: REINFORCE에서의 행동 선택 Exercise 6: REINFORCE 알고리즘 학습시키기 Exercise 7: Advantage Actor Critic Exercise 8: 크리틱 네트워크 Exercise 9: Actor-Critic 손실 계산 Exercise 10: A2C 알고리즘 학습시키기

강건한 DRL 성능을 위한 Proximal Policy Optimization(PPO)을 탐구합니다. 다음으로, 결정적 정책에 성급히 수렴하는 것을 막아 탐색을 장려하는 엔트로피 보너스를 PPO에서 어떻게 사용하는지 살펴봅니다. 또한 정책 경사 방법에서의 배치 업데이트를 학습합니다. 마지막으로, DRL 모델의 성능을 높이기 위한 강력한 도구인 Optuna로 하이퍼파라미터를 최적화하는 방법을 배웁니다.

Exercise 1: Proximal Policy Optimization Exercise 2: 클리핑된 확률 비율 Exercise 3: 클리핑된 대리 목적 함수 Exercise 4: 엔트로피 보너스와 PPO Exercise 5: 엔트로피 놀이터 Exercise 6: PPO 알고리즘 학습시키기 Exercise 7: 정책 그래디언트에서의 배치 업데이트 Exercise 8: 미니배치와 DRL Exercise 9: 배치 업데이트가 있는 A2C Exercise 10: Optuna로 하이퍼파라미터 최적화 Exercise 11: 하이퍼파라미터일까요, 아닐까요?Exercise 12: Optuna 실습 Exercise 13: 축하합니다!