상태 공간과 행동 공간 살펴보기

Cliff Walking 환경에서는 에이전트가 낭떠러지를 피하면서 시작 지점에서 목표 지점까지 격자 세계를 가로질러 이동해요. 플레이어가 낭떠러지 칸으로 이동하면 시작 지점으로 되돌아갑니다. 목표에 도달할 때까지 계속 이동하며, 목표에 도달하면 에피소드가 종료돼요. 이 환경의 상태 공간과 행동 공간을 탐색해 보세요.

Image showing an animation for the cliff walking environment.

이 연습은 강의의 일부입니다

Python으로 배우는 Gymnasium 기반 Reinforcement Learning

연습 안내

환경 ID CliffWalking으로 Cliff Walking 환경 인스턴스를 생성하세요.
행동 공간의 크기를 계산해 num_actions에 저장하세요.
상태 공간의 크기를 계산해 num_states에 저장하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Create the Cliff Walking environment
env = ____

# Compute the size of the action space
num_actions = ____

# Compute the size of the state space
num_states = ____

print("Number of actions:", num_actions)
print("Number of states:", num_states)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 Gymnasium 기반 Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

Reinforcement Learning(RL)의 기초 개념, 역할, 활용 분야를 살펴보며 흥미로운 RL 세계로 들어가 보세요. 에이전트-환경 상호작용을 중심으로 RL 프레임워크를 이해하고, Gymnasium 라이브러리로 환경을 만들고, 상태를 시각화하며, 행동을 수행하는 방법을 배워 RL 개념과 응용에 대한 실전 기반을 다집니다.

Exercise 1: 강화 학습의 기초 Exercise 2: Reinforcement Learning이란 무엇인가요?Exercise 3: RL과 다른 ML 하위 분야 비교 Exercise 4: RL을 적용하기 좋은 시나리오 Exercise 5: RL 프레임워크 살펴보기 Exercise 6: RL 상호작용 루프 Exercise 7: 에피소드형과 연속형 RL 과제 Exercise 8: 에이전트 전략의 할인된 반환 계산하기 Exercise 9: Gymnasium 환경과 상호작용하기 Exercise 10: Mountain Car 환경 설정하기 Exercise 11: Mountain Car 환경 시각화하기 Exercise 12: Frozen Lake 환경과 상호작용하기

Model-Based Learning에 초점을 맞춰 RL을 더 깊이 있게 다룹니다. 마코프 의사결정 과정(MDP)의 구성 요소를 이해하며 복잡한 개념을 풀어 봅니다. 정책과 가치 함수에 대한 지식을 확장하고, 정책 반복과 가치 반복 기법으로 정책 최적화 역량을 키우세요.

Exercise 1: 마르코프 결정 과정 Exercise 2: 사용자 지정 Frozen Lake MDP 구성 요소 Exercise 3: 상태 공간과 행동 공간 살펴보기

현재 연습

Exercise 4: 전이 확률과 보상 Exercise 5: 정책과 상태-가치 함수 Exercise 6: 결정론적 정책 정의하기 Exercise 7: 정책의 상태 가치 계산하기 Exercise 8: 정책 비교하기 Exercise 9: 행동 가치 함수 Exercise 10: Q-값 계산하기 Exercise 11: 정책 개선하기 Exercise 12: 정책 반복과 가치 반복 Exercise 13: 정책 반복으로 최적 정책 구하기 Exercise 14: 가치 반복(Value Iteration) 구현하기

RL에서 Model-Free Learning의 역동적인 세계를 탐험합니다. 기초가 되는 몬테카를로 방법을 소개하고, 최초 방문과 매 방문 몬테카를로 예측 알고리즘을 적용해 봅니다. 이어서 시차 학습(Temporal Difference Learning)으로 넘어가 SARSA 알고리즘을 살펴봅니다. 마지막으로 Q-Learning을 깊이 있게 학습하고, 까다로운 환경에서의 수렴 특성을 분석합니다.

Exercise 1: 몬테카를로 방법 Exercise 2: Monte Carlo 방법을 위한 에피소드 생성 Exercise 3: First-Visit Monte Carlo 구현하기 Exercise 4: Every-Visit Monte Carlo 구현하기 Exercise 5: Temporal Difference 학습 Exercise 6: SARSA 업데이트 규칙 구현하기 Exercise 7: SARSA로 8x8 Frozen Lake 풀기 Exercise 8: Q-learning Exercise 9: Q-learning 업데이트 규칙 구현하기 Exercise 10: Q-learning으로 8x8 Frozen Lake 해결하기 Exercise 11: 미끄러운 Frozen Lake에서 정책 평가하기

Model-Free RL의 고급 전략을 통해 의사 결정 알고리즘을 한층 강화합니다. 더 정확한 정책 업데이트를 위한 Expected SARSA와 과대추정 편향을 완화하는 Double Q-learning을 학습하세요. 탐험-활용 균형을 다루며, 최적의 행동 선택을 위한 입실론-그리디와 입실론 감소 전략을 익힙니다. 또한 다중 슬롯머신(Multi-Armed Bandit) 문제를 해결하며 불확실성하 의사 결정 과제를 다뤄 봅니다.

Exercise 1: Expected SARSA Exercise 2: Expected SARSA 업데이트 규칙 Exercise 3: Expected SARSA 적용하기 Exercise 4: Double Q-learning Exercise 5: Double Q-learning 업데이트 규칙 구현하기 Exercise 6: Double Q-learning 적용하기 Exercise 7: 탐색과 활용의 균형 잡기 Exercise 8: epsilon-greedy 함수 정의하기 Exercise 9: epsilon-greedy 전략으로 CliffWalking 풀기 Exercise 10: 감쇠된 epsilon-greedy 전략으로 CliffWalking 해결하기 Exercise 11: 멀티암드 밴딧 Exercise 12: 멀티 암드 밴딧 만들기 Exercise 13: 다중 슬롯머신 문제 해결하기 Exercise 14: Multi-armed bandit에서 수렴 평가하기 Exercise 15: 축하합니다!