Обчислення дисконтових повернень для стратегій агента

Дисконтові повернення допомагають оцінити загальну суму винагород, яку агент може очікувати зібрати з часом, з урахуванням того, що майбутні винагороди менш цінні за негайні. Вам надано очікувані винагороди для двох різних стратегій (exp_rewards_strategy_1 і exp_rewards_strategy_2) агента RL. Ваше завдання — обчислити дисконтове повернення для кожної стратегії та визначити, яка з них дає вищий результат.

Бібліотеку numpy імпортовано для вас як np.

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

exp_rewards_strategy_1 = np.array([3, 2, -1, 5])

discount_factor = 0.9

# Compute discounts
discounts_strategy_1 = np.array([____ for i in range(len(exp_rewards_strategy_1))])

# Compute the discounted return
discounted_return_strategy_1 = np.sum(____)

print(f"The discounted return of the first strategy is {discounted_return_strategy_1}")

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

Пориньте у світ Reinforcement Learning (RL), дослідивши його базові поняття, ролі та застосування. Розберіть рамку RL і взаємодію агента із середовищем. Ви також навчитеся працювати з бібліотекою Gymnasium: створювати середовища, візуалізувати стани та виконувати дії — щоб отримати практичний фундамент у концепціях і застосуваннях RL.

Exercise 1: Основи навчання з підкріпленням Exercise 2: Що таке Reinforcement Learning?Exercise 3: RL проти інших підгалузей ML Exercise 4: Сценарії для застосування RL Exercise 5: Опанування каркасу RL Exercise 6: Цикл взаємодії в RL Exercise 7: Епізодичні та безперервні завдання в RL Exercise 8: Обчислення дисконтових повернень для стратегій агента

Поточна вправа

Exercise 9: Взаємодія з оточеннями Gymnasium Exercise 10: Налаштування середовища Mountain Car Exercise 11: Візуалізація середовища Mountain Car Exercise 12: Взаємодія із середовищем Frozen Lake

Заглибтеся в RL з фокусом на навчанні на основі моделі. Розкрийте сутність марковських процесів прийняття рішень (MDP), зрозумівши їхні ключові компоненти. Розширте свої навички, вивчивши політики та функції цінності. Опануйте оптимізацію політики за допомогою policy iteration і value iteration.

Exercise 1: Марковські процеси прийняття рішень Exercise 2: Користувацькі компоненти MDP для Frozen Lake Exercise 3: Дослідження просторів станів і дій Exercise 4: Імовірності переходів і винагороди Exercise 5: Політики та функції цінності стану Exercise 6: Визначення детермінованої політики Exercise 7: Обчислення цінностей станів для політики Exercise 8: Порівняння політик Exercise 9: Функції цінності дії Exercise 10: Обчислення Q-значень Exercise 11: Покращення політики Exercise 12: Ітерація політики та ітерація значень Exercise 13: Застосування ітерації політики для оптимальної політики Exercise 14: Реалізація ітерації значень

Пройдіть шлях крізь динамічний світ навчання без моделі в RL. Ознайомтеся з базовими методами Монте-Карло та застосуйте алгоритми прогнозування першого відвідування і кожного відвідування. Перейдіть до навчання з тимчасовою різницею, дослідивши алгоритм SARSA. Нарешті, зануртеся у Q-learning і проаналізуйте його збіжність у складних середовищах.

Exercise 1: Методи Монте-Карло Exercise 2: Генерація епізодів для методів Монте-Карло Exercise 3: Реалізація Монте-Карло першого відвідування Exercise 4: Реалізація every-visit Monte Carlo Exercise 5: Навчання з тимчасовим різницюванням Exercise 6: Реалізація правила оновлення SARSA Exercise 7: Розв'язання 8×8 Frozen Lake за допомогою SARSA Exercise 8: Q-learning Exercise 9: Реалізація правила оновлення Q-learning Exercise 10: Розв'язання 8×8 Frozen Lake за допомогою Q-learning Exercise 11: Оцінювання політики на слизькому Frozen Lake

Опановуйте просунуті стратегії у модель-вільному RL, зосереджені на підсиленні алгоритмів ухвалення рішень. Дізнайтеся про Expected SARSA для точніших оновлень політики та Double Q-learning для зменшення упередження через переоцінку. Розгляньте компроміс дослідження та використання, опанувавши стратегії epsilon-greedy та epsilon-decay для оптимального вибору дій. Візьміться за задачу одноруких бандитів, застосовуючи стратегії для розв'язання проблем ухвалення рішень в умовах невизначеності.

Exercise 1: Expected SARSA Exercise 2: Правило оновлення Expected SARSA Exercise 3: Застосування Expected SARSA Exercise 4: Double Q-learning Exercise 5: Реалізація правила оновлення Double Q-learning Exercise 6: Застосування Double Q-learning Exercise 7: Баланс між дослідженням і використанням Exercise 8: Визначення функції epsilon-greedy Exercise 9: Розв'язання CliffWalking за допомогою стратегії epsilon-greedy Exercise 10: Розв'язання CliffWalking зі стратегією epsilon-greedy зі спаданням Exercise 11: Багаторукі бандити Exercise 12: Створення багаторукого бандита Exercise 13: Розв'язання задачі багаторукого бандита Exercise 14: Оцінювання збіжності у задачі про одночасні бандити Exercise 15: Вітаємо!