Изучение пространств состояний и действий

Среда «Прогулка по обрыву» (Cliff Walking) — это задача, в которой агент перемещается по сетке из начальной точки в конечную, стараясь не упасть с обрыва. Если агент попадает на клетку обрыва, он возвращается в начальную точку. Агент продолжает ходить до тех пор, пока не достигнет цели, после чего эпизод завершается. Ваша задача — исследовать пространства состояний и действий этой среды.

Image showing an animation for the cliff walking environment.

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

Посмотреть курс

Инструкции к упражнению

Создайте экземпляр среды Cliff Walking, используя идентификатор CliffWalking.
Вычислите размер пространства действий и сохраните результат в переменной num_actions.
Вычислите размер пространства состояний и сохраните результат в переменной num_states.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create the Cliff Walking environment
env = ____

# Compute the size of the action space
num_actions = ____

# Compute the size of the state space
num_states = ____

print("Number of actions:", num_actions)
print("Number of states:", num_states)

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

Погрузитесь в увлекательный мир обучения с подкреплением (RL): изучите его базовые концепции, роли и области применения. Разберитесь в структуре RL и познакомьтесь с взаимодействием агента и среды. Вы также научитесь использовать библиотеку Gymnasium для создания сред, визуализации состояний и выполнения действий — и получите практическую основу для работы с RL.

Exercise 1: Основы обучения с подкреплением Exercise 2: Что такое обучение с подкреплением?Exercise 3: Обучение с подкреплением и другие направления машинного обучения Exercise 4: Сценарии применения RL Exercise 5: Навигация по структуре обучения с подкреплением Exercise 6: Цикл взаимодействия в обучении с подкреплением Exercise 7: Эпизодические и непрерывные задачи в обучении с подкреплением Exercise 8: Вычисление дисконтированных доходов для стратегий агента Exercise 9: Взаимодействие со средами Gymnasium Exercise 10: Настройка среды Mountain Car Exercise 11: Визуализация среды Mountain Car Exercise 12: Взаимодействие со средой Frozen Lake

Углубитесь в обучение с подкреплением на основе модели. Разберитесь в устройстве марковских процессов принятия решений (MDP) и их ключевых компонентах. Расширьте свои навыки, изучив политики и функции ценности. Освойте оптимизацию политик с помощью методов итерации по политике и итерации по ценности.

Exercise 1: Марковские процессы принятия решений Exercise 2: Компоненты пользовательского MDP на основе Frozen Lake Exercise 3: Изучение пространств состояний и действий

Текущее упражнение

Exercise 4: Вероятности переходов и награды Exercise 5: Политики и функции ценности состояний Exercise 6: Определение детерминированной политики Exercise 7: Вычисление ценностей состояний для политики Exercise 8: Сравнение политик Exercise 9: Функции ценности действия Exercise 10: Вычисление Q-значений Exercise 11: Улучшение политики Exercise 12: Итерация по стратегии и итерация по ценности Exercise 13: Применение итерации по стратегии для нахождения оптимальной стратегии Exercise 14: Реализация итерации по ценности

Отправьтесь в путешествие по миру обучения без модели в RL. Познакомьтесь с методами Монте-Карло и примените алгоритмы предсказания по первому и каждому визиту. Затем перейдите к обучению с временными разностями и изучите алгоритм SARSA. Наконец, погрузитесь в Q-обучение и проанализируйте его сходимость в сложных средах.

Exercise 1: Методы Монте-Карло Exercise 2: Генерация эпизодов для методов Монте-Карло Exercise 3: Реализация метода Монте-Карло с первым посещением Exercise 4: Реализация метода Монте-Карло с учётом всех посещений Exercise 5: Обучение с временными разностями Exercise 6: Реализация правила обновления SARSA Exercise 7: Решение задачи Frozen Lake 8×8 с помощью SARSA Exercise 8: Q-обучение Exercise 9: Реализация правила обновления Q-обучения Exercise 10: Решение задачи «Замёрзшее озеро 8×8» с помощью Q-обучения Exercise 11: Оценка политики на скользком замёрзшем озере

Изучите продвинутые стратегии RL без модели, направленные на улучшение алгоритмов принятия решений. Освойте ожидаемый SARSA для более точного обновления политик и двойное Q-обучение для снижения смещения в сторону переоценки. Исследуйте компромисс между исследованием и использованием, а также стратегии эпсилон-жадного выбора и убывания эпсилон. Решите задачу многорукого бандита, применив стратегии для принятия решений в условиях неопределённости.

Exercise 1: Expected SARSA Exercise 2: Правило обновления Expected SARSA Exercise 3: Применение Expected SARSA Exercise 4: Двойное Q-обучение Exercise 5: Реализация правила обновления двойного Q-обучения Exercise 6: Применение двойного Q-обучения Exercise 7: Баланс между исследованием и использованием Exercise 8: Определение функции эпсилон-жадного выбора Exercise 9: Решение задачи CliffWalking с помощью эпсилон-жадной стратегии Exercise 10: Решение задачи CliffWalking с помощью стратегии epsilon-greedy с затуханием Exercise 11: Многорукие бандиты Exercise 12: Создание многорукого бандита Exercise 13: Решение задачи многорукого бандита Exercise 14: Оценка сходимости в задаче многорукого бандита Exercise 15: Поздравляем!