Optuna 실습

Optuna를 사용해 간단한 함수의 하이퍼파라미터를 최적화해 보세요.

실제 작업에서는 평가에 비용이 많이 들거나 시간이 오래 걸리는 목적 함수를 최적화하게 됩니다. 따라서 가능한 한 적은 시도로 합리적인 하이퍼파라미터를 찾는 것이 중요해요.

편의를 위해, 여기서는 거의 즉시 평가할 수 있는 사전 정의된 목적 함수를 사용하겠습니다:

$$f(x,y) = 2*(1-x)^2 + (y-x)^2$$

metric() 함수는 실행 환경에 정의되어 있어요.

이 연습에서는 x와 y가 최적화할 하이퍼파라미터입니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

study = optuna.create_study()

def objective(trial: optuna.Trial):
    # Declare hyperparameters x and y as uniform
    x = ____
    y = ____
    
    value = metric(x, y)
    return value

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 Deep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

Deep Reinforcement Learning이 전통적인 Reinforcement Learning을 어떻게 발전시키는지 알아보고, 첫 번째 Deep Q Learning 알고리즘을 학습하고 구현해 보세요.

Exercise 1: 딥 강화학습 소개 Exercise 2: 환경 및 신경망 설정 Exercise 3: DRL 학습 루프 Exercise 4: Deep Q Learning 소개 Exercise 5: 딥러닝과 DQN Exercise 6: Q-네트워크 아키텍처 Exercise 7: Q-Network 인스턴스화하기 Exercise 8: 기본형 DQN 알고리즘 Exercise 9: 기본 DQN 행동 선택 Exercise 10: 기본 DQN 손실 함수 Exercise 11: 베어본 DQN 훈련하기

Experience Replay, epsilon-greedy, 고정 Q-targets를 갖춘 원조 DQN 알고리즘을 구현하며 Deep Q-learning을 깊이 있게 다룹니다. 이어서 Deep Q-learning의 성능과 안정성을 개선하는 두 가지 흥미로운 확장 기법인 Double DQN과 Prioritized Experience Replay를 살펴봅니다.

Exercise 1: Experience Replay를 사용한 DQN Exercise 2: Double-Ended Queue 살펴보기 Exercise 3: Experience replay 버퍼 Exercise 4: 경험 재현을 활용한 DQN Exercise 5: 완전한 DQN 알고리즘 Exercise 6: Epsilon-greediness Exercise 7: 고정 Q-타깃 Exercise 8: 완전한 DQN 알고리즘 구현하기 Exercise 9: Double DQN Exercise 10: DDQN의 온라인 네트워크와 타깃 네트워크 Exercise 11: Double DQN 학습 Exercise 12: 우선순위 경험 재생 Exercise 13: 우선순위 기반 경험 재생 버퍼 Exercise 14: PER 버퍼에서 샘플링하기 Exercise 15: 우선순위 기반 경험 재현을 적용한 DQN

DRL에서 사용되는 정책 경사(policy gradient) 방법의 핵심 개념을 학습합니다. 이 방법들의 토대가 되는 정책 경사 정리부터 시작해, 정책을 학습하는 강력한 접근법인 REINFORCE 알고리즘을 구현합니다. 이어서 Actor-Critic 방법을 다루며, 정책 경사와 가치 기반 방법의 장점을 결합해 학습 효율성과 안정성을 높이는 Advantage Actor-Critic(A2C) 알고리즘에 집중합니다.

Exercise 1: Policy Gradient 소개 Exercise 2: 정책 네트워크 아키텍처 Exercise 3: 이산 분포 다루기 Exercise 4: 정책 그래디언트와 REINFORCE Exercise 5: REINFORCE에서의 행동 선택 Exercise 6: REINFORCE 알고리즘 학습시키기 Exercise 7: Advantage Actor Critic Exercise 8: 크리틱 네트워크 Exercise 9: Actor-Critic 손실 계산 Exercise 10: A2C 알고리즘 학습시키기

강건한 DRL 성능을 위한 Proximal Policy Optimization(PPO)을 탐구합니다. 다음으로, 결정적 정책에 성급히 수렴하는 것을 막아 탐색을 장려하는 엔트로피 보너스를 PPO에서 어떻게 사용하는지 살펴봅니다. 또한 정책 경사 방법에서의 배치 업데이트를 학습합니다. 마지막으로, DRL 모델의 성능을 높이기 위한 강력한 도구인 Optuna로 하이퍼파라미터를 최적화하는 방법을 배웁니다.

Exercise 1: Proximal Policy Optimization Exercise 2: 클리핑된 확률 비율 Exercise 3: 클리핑된 대리 목적 함수 Exercise 4: 엔트로피 보너스와 PPO Exercise 5: 엔트로피 놀이터 Exercise 6: PPO 알고리즘 학습시키기 Exercise 7: 정책 그래디언트에서의 배치 업데이트 Exercise 8: 미니배치와 DRL Exercise 9: 배치 업데이트가 있는 A2C Exercise 10: Optuna로 하이퍼파라미터 최적화 Exercise 11: 하이퍼파라미터일까요, 아닐까요?Exercise 12: Optuna 실습

현재 연습

Exercise 13: 축하합니다!