Вычисление дисконтированных доходов для стратегий агента

Дисконтированные доходы помогают оценить суммарное вознаграждение, которое агент может накопить со временем, учитывая, что будущие вознаграждения менее ценны, чем немедленные. Вам даны ожидаемые вознаграждения для двух различных стратегий (exp_rewards_strategy_1 и exp_rewards_strategy_2) агента в задаче обучения с подкреплением. Ваша задача — вычислить дисконтированный доход для каждой стратегии и определить, какая из них даёт более высокий результат.

Библиотека numpy уже импортирована как np.

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

exp_rewards_strategy_1 = np.array([3, 2, -1, 5])

discount_factor = 0.9

# Compute discounts
discounts_strategy_1 = np.array([____ for i in range(len(exp_rewards_strategy_1))])

# Compute the discounted return
discounted_return_strategy_1 = np.sum(____)

print(f"The discounted return of the first strategy is {discounted_return_strategy_1}")

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением с Gymnasium на Python

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

Погрузитесь в увлекательный мир обучения с подкреплением (RL): изучите его базовые концепции, роли и области применения. Разберитесь в структуре RL и познакомьтесь с взаимодействием агента и среды. Вы также научитесь использовать библиотеку Gymnasium для создания сред, визуализации состояний и выполнения действий — и получите практическую основу для работы с RL.

Exercise 1: Основы обучения с подкреплением Exercise 2: Что такое обучение с подкреплением?Exercise 3: Обучение с подкреплением и другие направления машинного обучения Exercise 4: Сценарии применения RL Exercise 5: Навигация по структуре обучения с подкреплением Exercise 6: Цикл взаимодействия в обучении с подкреплением Exercise 7: Эпизодические и непрерывные задачи в обучении с подкреплением Exercise 8: Вычисление дисконтированных доходов для стратегий агента

Текущее упражнение

Exercise 9: Взаимодействие со средами Gymnasium Exercise 10: Настройка среды Mountain Car Exercise 11: Визуализация среды Mountain Car Exercise 12: Взаимодействие со средой Frozen Lake

Углубитесь в обучение с подкреплением на основе модели. Разберитесь в устройстве марковских процессов принятия решений (MDP) и их ключевых компонентах. Расширьте свои навыки, изучив политики и функции ценности. Освойте оптимизацию политик с помощью методов итерации по политике и итерации по ценности.

Exercise 1: Марковские процессы принятия решений Exercise 2: Компоненты пользовательского MDP на основе Frozen Lake Exercise 3: Изучение пространств состояний и действий Exercise 4: Вероятности переходов и награды Exercise 5: Политики и функции ценности состояний Exercise 6: Определение детерминированной политики Exercise 7: Вычисление ценностей состояний для политики Exercise 8: Сравнение политик Exercise 9: Функции ценности действия Exercise 10: Вычисление Q-значений Exercise 11: Улучшение политики Exercise 12: Итерация по стратегии и итерация по ценности Exercise 13: Применение итерации по стратегии для нахождения оптимальной стратегии Exercise 14: Реализация итерации по ценности

Отправьтесь в путешествие по миру обучения без модели в RL. Познакомьтесь с методами Монте-Карло и примените алгоритмы предсказания по первому и каждому визиту. Затем перейдите к обучению с временными разностями и изучите алгоритм SARSA. Наконец, погрузитесь в Q-обучение и проанализируйте его сходимость в сложных средах.

Exercise 1: Методы Монте-Карло Exercise 2: Генерация эпизодов для методов Монте-Карло Exercise 3: Реализация метода Монте-Карло с первым посещением Exercise 4: Реализация метода Монте-Карло с учётом всех посещений Exercise 5: Обучение с временными разностями Exercise 6: Реализация правила обновления SARSA Exercise 7: Решение задачи Frozen Lake 8×8 с помощью SARSA Exercise 8: Q-обучение Exercise 9: Реализация правила обновления Q-обучения Exercise 10: Решение задачи «Замёрзшее озеро 8×8» с помощью Q-обучения Exercise 11: Оценка политики на скользком замёрзшем озере

Изучите продвинутые стратегии RL без модели, направленные на улучшение алгоритмов принятия решений. Освойте ожидаемый SARSA для более точного обновления политик и двойное Q-обучение для снижения смещения в сторону переоценки. Исследуйте компромисс между исследованием и использованием, а также стратегии эпсилон-жадного выбора и убывания эпсилон. Решите задачу многорукого бандита, применив стратегии для принятия решений в условиях неопределённости.

Exercise 1: Expected SARSA Exercise 2: Правило обновления Expected SARSA Exercise 3: Применение Expected SARSA Exercise 4: Двойное Q-обучение Exercise 5: Реализация правила обновления двойного Q-обучения Exercise 6: Применение двойного Q-обучения Exercise 7: Баланс между исследованием и использованием Exercise 8: Определение функции эпсилон-жадного выбора Exercise 9: Решение задачи CliffWalking с помощью эпсилон-жадной стратегии Exercise 10: Решение задачи CliffWalking с помощью стратегии epsilon-greedy с затуханием Exercise 11: Многорукие бандиты Exercise 12: Создание многорукого бандита Exercise 13: Решение задачи многорукого бандита Exercise 14: Оценка сходимости в задаче многорукого бандита Exercise 15: Поздравляем!