Користувацькі компоненти MDP для Frozen Lake

Надане середовище grid world — це варіація середовища Frozen Lake, де агент має дістатися до цілі й водночас уникати лунок. Ваше завдання — проаналізувати це середовище та подати його як MDP, відповівши на конкретні запитання.

Ви можете відповідати, візуально оглядаючи середовище (де це доречно), або скористатися попередньо завантаженою для вас змінною env.

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

Пориньте у світ Reinforcement Learning (RL), дослідивши його базові поняття, ролі та застосування. Розберіть рамку RL і взаємодію агента із середовищем. Ви також навчитеся працювати з бібліотекою Gymnasium: створювати середовища, візуалізувати стани та виконувати дії — щоб отримати практичний фундамент у концепціях і застосуваннях RL.

Exercise 1: Основи навчання з підкріпленням Exercise 2: Що таке Reinforcement Learning?Exercise 3: RL проти інших підгалузей ML Exercise 4: Сценарії для застосування RL Exercise 5: Опанування каркасу RL Exercise 6: Цикл взаємодії в RL Exercise 7: Епізодичні та безперервні завдання в RL Exercise 8: Обчислення дисконтових повернень для стратегій агента Exercise 9: Взаємодія з оточеннями Gymnasium Exercise 10: Налаштування середовища Mountain Car Exercise 11: Візуалізація середовища Mountain Car Exercise 12: Взаємодія із середовищем Frozen Lake

Заглибтеся в RL з фокусом на навчанні на основі моделі. Розкрийте сутність марковських процесів прийняття рішень (MDP), зрозумівши їхні ключові компоненти. Розширте свої навички, вивчивши політики та функції цінності. Опануйте оптимізацію політики за допомогою policy iteration і value iteration.

Exercise 1: Марковські процеси прийняття рішень Exercise 2: Користувацькі компоненти MDP для Frozen Lake

Поточна вправа

Exercise 3: Дослідження просторів станів і дій Exercise 4: Імовірності переходів і винагороди Exercise 5: Політики та функції цінності стану Exercise 6: Визначення детермінованої політики Exercise 7: Обчислення цінностей станів для політики Exercise 8: Порівняння політик Exercise 9: Функції цінності дії Exercise 10: Обчислення Q-значень Exercise 11: Покращення політики Exercise 12: Ітерація політики та ітерація значень Exercise 13: Застосування ітерації політики для оптимальної політики Exercise 14: Реалізація ітерації значень

Пройдіть шлях крізь динамічний світ навчання без моделі в RL. Ознайомтеся з базовими методами Монте-Карло та застосуйте алгоритми прогнозування першого відвідування і кожного відвідування. Перейдіть до навчання з тимчасовою різницею, дослідивши алгоритм SARSA. Нарешті, зануртеся у Q-learning і проаналізуйте його збіжність у складних середовищах.

Exercise 1: Методи Монте-Карло Exercise 2: Генерація епізодів для методів Монте-Карло Exercise 3: Реалізація Монте-Карло першого відвідування Exercise 4: Реалізація every-visit Monte Carlo Exercise 5: Навчання з тимчасовим різницюванням Exercise 6: Реалізація правила оновлення SARSA Exercise 7: Розв'язання 8×8 Frozen Lake за допомогою SARSA Exercise 8: Q-learning Exercise 9: Реалізація правила оновлення Q-learning Exercise 10: Розв'язання 8×8 Frozen Lake за допомогою Q-learning Exercise 11: Оцінювання політики на слизькому Frozen Lake

Опановуйте просунуті стратегії у модель-вільному RL, зосереджені на підсиленні алгоритмів ухвалення рішень. Дізнайтеся про Expected SARSA для точніших оновлень політики та Double Q-learning для зменшення упередження через переоцінку. Розгляньте компроміс дослідження та використання, опанувавши стратегії epsilon-greedy та epsilon-decay для оптимального вибору дій. Візьміться за задачу одноруких бандитів, застосовуючи стратегії для розв'язання проблем ухвалення рішень в умовах невизначеності.

Exercise 1: Expected SARSA Exercise 2: Правило оновлення Expected SARSA Exercise 3: Застосування Expected SARSA Exercise 4: Double Q-learning Exercise 5: Реалізація правила оновлення Double Q-learning Exercise 6: Застосування Double Q-learning Exercise 7: Баланс між дослідженням і використанням Exercise 8: Визначення функції epsilon-greedy Exercise 9: Розв'язання CliffWalking за допомогою стратегії epsilon-greedy Exercise 10: Розв'язання CliffWalking зі стратегією epsilon-greedy зі спаданням Exercise 11: Багаторукі бандити Exercise 12: Створення багаторукого бандита Exercise 13: Розв'язання задачі багаторукого бандита Exercise 14: Оцінювання збіжності у задачі про одночасні бандити Exercise 15: Вітаємо!