Розв'язання 8×8 Frozen Lake за допомогою SARSA

У цій вправі ви застосуєте алгоритм SARSA, використовуючи функцію update_q_table(), яку ви раніше реалізували, щоб навчити оптимальної політики для середовища 8×8 Frozen Lake. Це середовище ідентичне класичному варіанту 4×4, відрізняється лише більшим розміром. Ви використаєте алгоритм SARSA, щоб ітеративно вдосконалювати політику агента на основі винагород, отриманих із середовища.

Q-таблицю Q уже ініціалізовано та завантажено для вас разом із функцією update_q_table() з попередньої вправи.

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

Переглянути курс

Інструкції до вправи

Для кожного епізоду тренування виконайте вибрану дію action.
Виберіть next_action випадково.
Оновіть Q-таблицю для заданих state і action.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

for episode in range(num_episodes):
    state, info = env.reset()
    action = env.action_space.sample()
    terminated = False
    while not terminated:
      	# Execute the action
        next_state, reward, terminated, truncated, info = ____
        # Choose the next action randomly
        next_action = ____
        # Update the Q-table
        ____
        state, action = next_state, next_action   
render_policy(get_policy())

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

Пориньте у світ Reinforcement Learning (RL), дослідивши його базові поняття, ролі та застосування. Розберіть рамку RL і взаємодію агента із середовищем. Ви також навчитеся працювати з бібліотекою Gymnasium: створювати середовища, візуалізувати стани та виконувати дії — щоб отримати практичний фундамент у концепціях і застосуваннях RL.

Exercise 1: Основи навчання з підкріпленням Exercise 2: Що таке Reinforcement Learning?Exercise 3: RL проти інших підгалузей ML Exercise 4: Сценарії для застосування RL Exercise 5: Опанування каркасу RL Exercise 6: Цикл взаємодії в RL Exercise 7: Епізодичні та безперервні завдання в RL Exercise 8: Обчислення дисконтових повернень для стратегій агента Exercise 9: Взаємодія з оточеннями Gymnasium Exercise 10: Налаштування середовища Mountain Car Exercise 11: Візуалізація середовища Mountain Car Exercise 12: Взаємодія із середовищем Frozen Lake

Заглибтеся в RL з фокусом на навчанні на основі моделі. Розкрийте сутність марковських процесів прийняття рішень (MDP), зрозумівши їхні ключові компоненти. Розширте свої навички, вивчивши політики та функції цінності. Опануйте оптимізацію політики за допомогою policy iteration і value iteration.

Exercise 1: Марковські процеси прийняття рішень Exercise 2: Користувацькі компоненти MDP для Frozen Lake Exercise 3: Дослідження просторів станів і дій Exercise 4: Імовірності переходів і винагороди Exercise 5: Політики та функції цінності стану Exercise 6: Визначення детермінованої політики Exercise 7: Обчислення цінностей станів для політики Exercise 8: Порівняння політик Exercise 9: Функції цінності дії Exercise 10: Обчислення Q-значень Exercise 11: Покращення політики Exercise 12: Ітерація політики та ітерація значень Exercise 13: Застосування ітерації політики для оптимальної політики Exercise 14: Реалізація ітерації значень

Пройдіть шлях крізь динамічний світ навчання без моделі в RL. Ознайомтеся з базовими методами Монте-Карло та застосуйте алгоритми прогнозування першого відвідування і кожного відвідування. Перейдіть до навчання з тимчасовою різницею, дослідивши алгоритм SARSA. Нарешті, зануртеся у Q-learning і проаналізуйте його збіжність у складних середовищах.

Exercise 1: Методи Монте-Карло Exercise 2: Генерація епізодів для методів Монте-Карло Exercise 3: Реалізація Монте-Карло першого відвідування Exercise 4: Реалізація every-visit Monte Carlo Exercise 5: Навчання з тимчасовим різницюванням Exercise 6: Реалізація правила оновлення SARSA Exercise 7: Розв'язання 8×8 Frozen Lake за допомогою SARSA

Поточна вправа

Exercise 8: Q-learning Exercise 9: Реалізація правила оновлення Q-learning Exercise 10: Розв'язання 8×8 Frozen Lake за допомогою Q-learning Exercise 11: Оцінювання політики на слизькому Frozen Lake

Опановуйте просунуті стратегії у модель-вільному RL, зосереджені на підсиленні алгоритмів ухвалення рішень. Дізнайтеся про Expected SARSA для точніших оновлень політики та Double Q-learning для зменшення упередження через переоцінку. Розгляньте компроміс дослідження та використання, опанувавши стратегії epsilon-greedy та epsilon-decay для оптимального вибору дій. Візьміться за задачу одноруких бандитів, застосовуючи стратегії для розв'язання проблем ухвалення рішень в умовах невизначеності.

Exercise 1: Expected SARSA Exercise 2: Правило оновлення Expected SARSA Exercise 3: Застосування Expected SARSA Exercise 4: Double Q-learning Exercise 5: Реалізація правила оновлення Double Q-learning Exercise 6: Застосування Double Q-learning Exercise 7: Баланс між дослідженням і використанням Exercise 8: Визначення функції epsilon-greedy Exercise 9: Розв'язання CliffWalking за допомогою стратегії epsilon-greedy Exercise 10: Розв'язання CliffWalking зі стратегією epsilon-greedy зі спаданням Exercise 11: Багаторукі бандити Exercise 12: Створення багаторукого бандита Exercise 13: Розв'язання задачі багаторукого бандита Exercise 14: Оцінювання збіжності у задачі про одночасні бандити Exercise 15: Вітаємо!