사용자 지정 Frozen Lake MDP 구성 요소

제공된 그리드 월드 환경은 에이전트가 구멍을 피해 목표 지점까지 이동해야 하는 Frozen Lake 환경의 변형입니다. 이 환경을 분석하여 특정 질문에 답하고, MDP로 구성해 보세요.

가능하다면 환경을 시각적으로 살펴보거나, 미리 로드된 env 변수를 활용해 답해 보셔도 됩니다.

이 연습은 강의의 일부입니다

Python으로 배우는 Gymnasium 기반 Reinforcement Learning

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

이 연습은 강의의 일부입니다

Python으로 배우는 Gymnasium 기반 Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

Reinforcement Learning(RL)의 기초 개념, 역할, 활용 분야를 살펴보며 흥미로운 RL 세계로 들어가 보세요. 에이전트-환경 상호작용을 중심으로 RL 프레임워크를 이해하고, Gymnasium 라이브러리로 환경을 만들고, 상태를 시각화하며, 행동을 수행하는 방법을 배워 RL 개념과 응용에 대한 실전 기반을 다집니다.

Exercise 1: 강화 학습의 기초 Exercise 2: Reinforcement Learning이란 무엇인가요?Exercise 3: RL과 다른 ML 하위 분야 비교 Exercise 4: RL을 적용하기 좋은 시나리오 Exercise 5: RL 프레임워크 살펴보기 Exercise 6: RL 상호작용 루프 Exercise 7: 에피소드형과 연속형 RL 과제 Exercise 8: 에이전트 전략의 할인된 반환 계산하기 Exercise 9: Gymnasium 환경과 상호작용하기 Exercise 10: Mountain Car 환경 설정하기 Exercise 11: Mountain Car 환경 시각화하기 Exercise 12: Frozen Lake 환경과 상호작용하기

Model-Based Learning에 초점을 맞춰 RL을 더 깊이 있게 다룹니다. 마코프 의사결정 과정(MDP)의 구성 요소를 이해하며 복잡한 개념을 풀어 봅니다. 정책과 가치 함수에 대한 지식을 확장하고, 정책 반복과 가치 반복 기법으로 정책 최적화 역량을 키우세요.

Exercise 1: 마르코프 결정 과정 Exercise 2: 사용자 지정 Frozen Lake MDP 구성 요소

현재 연습

Exercise 3: 상태 공간과 행동 공간 살펴보기 Exercise 4: 전이 확률과 보상 Exercise 5: 정책과 상태-가치 함수 Exercise 6: 결정론적 정책 정의하기 Exercise 7: 정책의 상태 가치 계산하기 Exercise 8: 정책 비교하기 Exercise 9: 행동 가치 함수 Exercise 10: Q-값 계산하기 Exercise 11: 정책 개선하기 Exercise 12: 정책 반복과 가치 반복 Exercise 13: 정책 반복으로 최적 정책 구하기 Exercise 14: 가치 반복(Value Iteration) 구현하기

RL에서 Model-Free Learning의 역동적인 세계를 탐험합니다. 기초가 되는 몬테카를로 방법을 소개하고, 최초 방문과 매 방문 몬테카를로 예측 알고리즘을 적용해 봅니다. 이어서 시차 학습(Temporal Difference Learning)으로 넘어가 SARSA 알고리즘을 살펴봅니다. 마지막으로 Q-Learning을 깊이 있게 학습하고, 까다로운 환경에서의 수렴 특성을 분석합니다.

Exercise 1: 몬테카를로 방법 Exercise 2: Monte Carlo 방법을 위한 에피소드 생성 Exercise 3: First-Visit Monte Carlo 구현하기 Exercise 4: Every-Visit Monte Carlo 구현하기 Exercise 5: Temporal Difference 학습 Exercise 6: SARSA 업데이트 규칙 구현하기 Exercise 7: SARSA로 8x8 Frozen Lake 풀기 Exercise 8: Q-learning Exercise 9: Q-learning 업데이트 규칙 구현하기 Exercise 10: Q-learning으로 8x8 Frozen Lake 해결하기 Exercise 11: 미끄러운 Frozen Lake에서 정책 평가하기

Model-Free RL의 고급 전략을 통해 의사 결정 알고리즘을 한층 강화합니다. 더 정확한 정책 업데이트를 위한 Expected SARSA와 과대추정 편향을 완화하는 Double Q-learning을 학습하세요. 탐험-활용 균형을 다루며, 최적의 행동 선택을 위한 입실론-그리디와 입실론 감소 전략을 익힙니다. 또한 다중 슬롯머신(Multi-Armed Bandit) 문제를 해결하며 불확실성하 의사 결정 과제를 다뤄 봅니다.

Exercise 1: Expected SARSA Exercise 2: Expected SARSA 업데이트 규칙 Exercise 3: Expected SARSA 적용하기 Exercise 4: Double Q-learning Exercise 5: Double Q-learning 업데이트 규칙 구현하기 Exercise 6: Double Q-learning 적용하기 Exercise 7: 탐색과 활용의 균형 잡기 Exercise 8: epsilon-greedy 함수 정의하기 Exercise 9: epsilon-greedy 전략으로 CliffWalking 풀기 Exercise 10: 감쇠된 epsilon-greedy 전략으로 CliffWalking 해결하기 Exercise 11: 멀티암드 밴딧 Exercise 12: 멀티 암드 밴딧 만들기 Exercise 13: 다중 슬롯머신 문제 해결하기 Exercise 14: Multi-armed bandit에서 수렴 평가하기 Exercise 15: 축하합니다!