Решение задачи Frozen Lake 8×8 с помощью SARSA

В этом упражнении вы применёте алгоритм SARSA вместе с функцией update_q_table(), реализованной ранее, чтобы найти оптимальную стратегию для среды Frozen Lake размером 8×8. Эта среда аналогична классической версии 4×4, но имеет больший размер. С помощью алгоритма SARSA вы будете итеративно улучшать стратегию агента на основе вознаграждений, получаемых из среды.

Q-таблица Q уже инициализирована и загружена для вас вместе с функцией update_q_table() из предыдущего упражнения.

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

Посмотреть курс

Инструкции к упражнению

Для каждого эпизода в процессе обучения выполните выбранное действие action.
Выберите next_action случайным образом.
Обновите Q-таблицу для заданных state и action.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

for episode in range(num_episodes):
    state, info = env.reset()
    action = env.action_space.sample()
    terminated = False
    while not terminated:
      	# Execute the action
        next_state, reward, terminated, truncated, info = ____
        # Choose the next action randomly
        next_action = ____
        # Update the Q-table
        ____
        state, action = next_state, next_action   
render_policy(get_policy())

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

Погрузитесь в увлекательный мир обучения с подкреплением (RL): изучите его базовые концепции, роли и области применения. Разберитесь в структуре RL и познакомьтесь с взаимодействием агента и среды. Вы также научитесь использовать библиотеку Gymnasium для создания сред, визуализации состояний и выполнения действий — и получите практическую основу для работы с RL.

Exercise 1: Основы обучения с подкреплением Exercise 2: Что такое обучение с подкреплением?Exercise 3: Обучение с подкреплением и другие направления машинного обучения Exercise 4: Сценарии применения RL Exercise 5: Навигация по структуре обучения с подкреплением Exercise 6: Цикл взаимодействия в обучении с подкреплением Exercise 7: Эпизодические и непрерывные задачи в обучении с подкреплением Exercise 8: Вычисление дисконтированных доходов для стратегий агента Exercise 9: Взаимодействие со средами Gymnasium Exercise 10: Настройка среды Mountain Car Exercise 11: Визуализация среды Mountain Car Exercise 12: Взаимодействие со средой Frozen Lake

Углубитесь в обучение с подкреплением на основе модели. Разберитесь в устройстве марковских процессов принятия решений (MDP) и их ключевых компонентах. Расширьте свои навыки, изучив политики и функции ценности. Освойте оптимизацию политик с помощью методов итерации по политике и итерации по ценности.

Exercise 1: Марковские процессы принятия решений Exercise 2: Компоненты пользовательского MDP на основе Frozen Lake Exercise 3: Изучение пространств состояний и действий Exercise 4: Вероятности переходов и награды Exercise 5: Политики и функции ценности состояний Exercise 6: Определение детерминированной политики Exercise 7: Вычисление ценностей состояний для политики Exercise 8: Сравнение политик Exercise 9: Функции ценности действия Exercise 10: Вычисление Q-значений Exercise 11: Улучшение политики Exercise 12: Итерация по стратегии и итерация по ценности Exercise 13: Применение итерации по стратегии для нахождения оптимальной стратегии Exercise 14: Реализация итерации по ценности

Отправьтесь в путешествие по миру обучения без модели в RL. Познакомьтесь с методами Монте-Карло и примените алгоритмы предсказания по первому и каждому визиту. Затем перейдите к обучению с временными разностями и изучите алгоритм SARSA. Наконец, погрузитесь в Q-обучение и проанализируйте его сходимость в сложных средах.

Exercise 1: Методы Монте-Карло Exercise 2: Генерация эпизодов для методов Монте-Карло Exercise 3: Реализация метода Монте-Карло с первым посещением Exercise 4: Реализация метода Монте-Карло с учётом всех посещений Exercise 5: Обучение с временными разностями Exercise 6: Реализация правила обновления SARSA Exercise 7: Решение задачи Frozen Lake 8×8 с помощью SARSA

Текущее упражнение

Exercise 8: Q-обучение Exercise 9: Реализация правила обновления Q-обучения Exercise 10: Решение задачи «Замёрзшее озеро 8×8» с помощью Q-обучения Exercise 11: Оценка политики на скользком замёрзшем озере

Изучите продвинутые стратегии RL без модели, направленные на улучшение алгоритмов принятия решений. Освойте ожидаемый SARSA для более точного обновления политик и двойное Q-обучение для снижения смещения в сторону переоценки. Исследуйте компромисс между исследованием и использованием, а также стратегии эпсилон-жадного выбора и убывания эпсилон. Решите задачу многорукого бандита, применив стратегии для принятия решений в условиях неопределённости.

Exercise 1: Expected SARSA Exercise 2: Правило обновления Expected SARSA Exercise 3: Применение Expected SARSA Exercise 4: Двойное Q-обучение Exercise 5: Реализация правила обновления двойного Q-обучения Exercise 6: Применение двойного Q-обучения Exercise 7: Баланс между исследованием и использованием Exercise 8: Определение функции эпсилон-жадного выбора Exercise 9: Решение задачи CliffWalking с помощью эпсилон-жадной стратегии Exercise 10: Решение задачи CliffWalking с помощью стратегии epsilon-greedy с затуханием Exercise 11: Многорукие бандиты Exercise 12: Создание многорукого бандита Exercise 13: Решение задачи многорукого бандита Exercise 14: Оценка сходимости в задаче многорукого бандита Exercise 15: Поздравляем!