Настройка среды Mountain Car

Одна из самых популярных сред Gym — Mountain Car, где цель состоит в том, чтобы поднять маломощный автомобиль на крутой холм. Мощности двигателя недостаточно, чтобы взобраться на холм с одного захода, поэтому автомобилю нужно набрать инерцию, двигаясь вперёд и назад. Ваша задача — создать и настроить эту среду.

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

Посмотреть курс

Инструкции к упражнению

Импортируйте библиотеку gymnasium под псевдонимом gym.
Создайте среду Mountain Car с помощью библиотеки Gym, задав идентификатор среды MountainCar и параметр render_mode равным 'rgb_array'.
Сбросьте среду, используя seed равным 42, и получите initial_state, который содержит два значения: позицию и скорость автомобиля.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the gymnasium library
____

# Create the environment
env = ____

# Get the initial state
initial_state, info = ____

position = initial_state[0]
velocity = initial_state[1]

print(f"The position of the car along the x-axis is {position} (m)")
print(f"The velocity of the car is {velocity} (m/s)")

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

Погрузитесь в увлекательный мир обучения с подкреплением (RL): изучите его базовые концепции, роли и области применения. Разберитесь в структуре RL и познакомьтесь с взаимодействием агента и среды. Вы также научитесь использовать библиотеку Gymnasium для создания сред, визуализации состояний и выполнения действий — и получите практическую основу для работы с RL.

Exercise 1: Основы обучения с подкреплением Exercise 2: Что такое обучение с подкреплением?Exercise 3: Обучение с подкреплением и другие направления машинного обучения Exercise 4: Сценарии применения RL Exercise 5: Навигация по структуре обучения с подкреплением Exercise 6: Цикл взаимодействия в обучении с подкреплением Exercise 7: Эпизодические и непрерывные задачи в обучении с подкреплением Exercise 8: Вычисление дисконтированных доходов для стратегий агента Exercise 9: Взаимодействие со средами Gymnasium Exercise 10: Настройка среды Mountain Car

Текущее упражнение

Exercise 11: Визуализация среды Mountain Car Exercise 12: Взаимодействие со средой Frozen Lake

Углубитесь в обучение с подкреплением на основе модели. Разберитесь в устройстве марковских процессов принятия решений (MDP) и их ключевых компонентах. Расширьте свои навыки, изучив политики и функции ценности. Освойте оптимизацию политик с помощью методов итерации по политике и итерации по ценности.

Exercise 1: Марковские процессы принятия решений Exercise 2: Компоненты пользовательского MDP на основе Frozen Lake Exercise 3: Изучение пространств состояний и действий Exercise 4: Вероятности переходов и награды Exercise 5: Политики и функции ценности состояний Exercise 6: Определение детерминированной политики Exercise 7: Вычисление ценностей состояний для политики Exercise 8: Сравнение политик Exercise 9: Функции ценности действия Exercise 10: Вычисление Q-значений Exercise 11: Улучшение политики Exercise 12: Итерация по стратегии и итерация по ценности Exercise 13: Применение итерации по стратегии для нахождения оптимальной стратегии Exercise 14: Реализация итерации по ценности

Отправьтесь в путешествие по миру обучения без модели в RL. Познакомьтесь с методами Монте-Карло и примените алгоритмы предсказания по первому и каждому визиту. Затем перейдите к обучению с временными разностями и изучите алгоритм SARSA. Наконец, погрузитесь в Q-обучение и проанализируйте его сходимость в сложных средах.

Exercise 1: Методы Монте-Карло Exercise 2: Генерация эпизодов для методов Монте-Карло Exercise 3: Реализация метода Монте-Карло с первым посещением Exercise 4: Реализация метода Монте-Карло с учётом всех посещений Exercise 5: Обучение с временными разностями Exercise 6: Реализация правила обновления SARSA Exercise 7: Решение задачи Frozen Lake 8×8 с помощью SARSA Exercise 8: Q-обучение Exercise 9: Реализация правила обновления Q-обучения Exercise 10: Решение задачи «Замёрзшее озеро 8×8» с помощью Q-обучения Exercise 11: Оценка политики на скользком замёрзшем озере

Изучите продвинутые стратегии RL без модели, направленные на улучшение алгоритмов принятия решений. Освойте ожидаемый SARSA для более точного обновления политик и двойное Q-обучение для снижения смещения в сторону переоценки. Исследуйте компромисс между исследованием и использованием, а также стратегии эпсилон-жадного выбора и убывания эпсилон. Решите задачу многорукого бандита, применив стратегии для принятия решений в условиях неопределённости.

Exercise 1: Expected SARSA Exercise 2: Правило обновления Expected SARSA Exercise 3: Применение Expected SARSA Exercise 4: Двойное Q-обучение Exercise 5: Реализация правила обновления двойного Q-обучения Exercise 6: Применение двойного Q-обучения Exercise 7: Баланс между исследованием и использованием Exercise 8: Определение функции эпсилон-жадного выбора Exercise 9: Решение задачи CliffWalking с помощью эпсилон-жадной стратегии Exercise 10: Решение задачи CliffWalking с помощью стратегии epsilon-greedy с затуханием Exercise 11: Многорукие бандиты Exercise 12: Создание многорукого бандита Exercise 13: Решение задачи многорукого бандита Exercise 14: Оценка сходимости в задаче многорукого бандита Exercise 15: Поздравляем!