Обучение с временными разностями

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

SkillTag.level.advancedSkillTag.label

4.8+

733 reviews

Начать курс бесплатно

Погрузитесь в увлекательный мир обучения с подкреплением (RL): изучите его базовые концепции, роли и области применения. Разберитесь в структуре RL и познакомьтесь с взаимодействием агента и среды. Вы также научитесь использовать библиотеку Gymnasium для создания сред, визуализации состояний и выполнения действий — и получите практическую основу для работы с RL.

Exercise 1: Основы обучения с подкреплением Exercise 2: Что такое обучение с подкреплением?Exercise 3: Обучение с подкреплением и другие направления машинного обучения Exercise 4: Сценарии применения RL Exercise 5: Навигация по структуре обучения с подкреплением Exercise 6: Цикл взаимодействия в обучении с подкреплением Exercise 7: Эпизодические и непрерывные задачи в обучении с подкреплением Exercise 8: Вычисление дисконтированных доходов для стратегий агента Exercise 9: Взаимодействие со средами Gymnasium Exercise 10: Настройка среды Mountain Car Exercise 11: Визуализация среды Mountain Car Exercise 12: Взаимодействие со средой Frozen Lake

Углубитесь в обучение с подкреплением на основе модели. Разберитесь в устройстве марковских процессов принятия решений (MDP) и их ключевых компонентах. Расширьте свои навыки, изучив политики и функции ценности. Освойте оптимизацию политик с помощью методов итерации по политике и итерации по ценности.

Exercise 1: Марковские процессы принятия решений Exercise 2: Компоненты пользовательского MDP на основе Frozen Lake Exercise 3: Изучение пространств состояний и действий Exercise 4: Вероятности переходов и награды Exercise 5: Политики и функции ценности состояний Exercise 6: Определение детерминированной политики Exercise 7: Вычисление ценностей состояний для политики Exercise 8: Сравнение политик Exercise 9: Функции ценности действия Exercise 10: Вычисление Q-значений Exercise 11: Улучшение политики Exercise 12: Итерация по стратегии и итерация по ценности Exercise 13: Применение итерации по стратегии для нахождения оптимальной стратегии Exercise 14: Реализация итерации по ценности

Отправьтесь в путешествие по миру обучения без модели в RL. Познакомьтесь с методами Монте-Карло и примените алгоритмы предсказания по первому и каждому визиту. Затем перейдите к обучению с временными разностями и изучите алгоритм SARSA. Наконец, погрузитесь в Q-обучение и проанализируйте его сходимость в сложных средах.

Exercise 1: Методы Монте-Карло Exercise 2: Генерация эпизодов для методов Монте-Карло Exercise 3: Реализация метода Монте-Карло с первым посещением Exercise 4: Реализация метода Монте-Карло с учётом всех посещений Exercise 5: Обучение с временными разностями

Текущее упражнение

Exercise 6: Реализация правила обновления SARSA Exercise 7: Решение задачи Frozen Lake 8×8 с помощью SARSA Exercise 8: Q-обучение Exercise 9: Реализация правила обновления Q-обучения Exercise 10: Решение задачи «Замёрзшее озеро 8×8» с помощью Q-обучения Exercise 11: Оценка политики на скользком замёрзшем озере

Изучите продвинутые стратегии RL без модели, направленные на улучшение алгоритмов принятия решений. Освойте ожидаемый SARSA для более точного обновления политик и двойное Q-обучение для снижения смещения в сторону переоценки. Исследуйте компромисс между исследованием и использованием, а также стратегии эпсилон-жадного выбора и убывания эпсилон. Решите задачу многорукого бандита, применив стратегии для принятия решений в условиях неопределённости.

Exercise 1: Expected SARSA Exercise 2: Правило обновления Expected SARSA Exercise 3: Применение Expected SARSA Exercise 4: Двойное Q-обучение Exercise 5: Реализация правила обновления двойного Q-обучения Exercise 6: Применение двойного Q-обучения Exercise 7: Баланс между исследованием и использованием Exercise 8: Определение функции эпсилон-жадного выбора Exercise 9: Решение задачи CliffWalking с помощью эпсилон-жадной стратегии Exercise 10: Решение задачи CliffWalking с помощью стратегии epsilon-greedy с затуханием Exercise 11: Многорукие бандиты Exercise 12: Создание многорукого бандита Exercise 13: Решение задачи многорукого бандита Exercise 14: Оценка сходимости в задаче многорукого бандита Exercise 15: Поздравляем!