Застосування ітерації політики для оптимальної політики

Ітерація політики — це базова техніка в RL для знаходження оптимальної політики. Вона складається з двох основних кроків: оцінювання політики, коли ви обчислюєте функцію цінності станів для заданої політики, та покращення політики, коли ви оновлюєте політику на основі цих значень. Ви застосуєте ці кроки ітеративно, щоб збіжно отримати оптимальну політику в кастомному середовищі MyGridWorld.

Функція render_policy() використовується, щоб показати кроки, які здійснює агент відповідно до політики.

Функції compute_state_value(state, policy) і compute_q_value(state, action, policy) уже підвантажено для вас.

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Complete the policy evaluation function
def policy_evaluation(policy):
    V = {____: ____ for ____ in range(____)}
    return V

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

Пориньте у світ Reinforcement Learning (RL), дослідивши його базові поняття, ролі та застосування. Розберіть рамку RL і взаємодію агента із середовищем. Ви також навчитеся працювати з бібліотекою Gymnasium: створювати середовища, візуалізувати стани та виконувати дії — щоб отримати практичний фундамент у концепціях і застосуваннях RL.

Exercise 1: Основи навчання з підкріпленням Exercise 2: Що таке Reinforcement Learning?Exercise 3: RL проти інших підгалузей ML Exercise 4: Сценарії для застосування RL Exercise 5: Опанування каркасу RL Exercise 6: Цикл взаємодії в RL Exercise 7: Епізодичні та безперервні завдання в RL Exercise 8: Обчислення дисконтових повернень для стратегій агента Exercise 9: Взаємодія з оточеннями Gymnasium Exercise 10: Налаштування середовища Mountain Car Exercise 11: Візуалізація середовища Mountain Car Exercise 12: Взаємодія із середовищем Frozen Lake

Заглибтеся в RL з фокусом на навчанні на основі моделі. Розкрийте сутність марковських процесів прийняття рішень (MDP), зрозумівши їхні ключові компоненти. Розширте свої навички, вивчивши політики та функції цінності. Опануйте оптимізацію політики за допомогою policy iteration і value iteration.

Exercise 1: Марковські процеси прийняття рішень Exercise 2: Користувацькі компоненти MDP для Frozen Lake Exercise 3: Дослідження просторів станів і дій Exercise 4: Імовірності переходів і винагороди Exercise 5: Політики та функції цінності стану Exercise 6: Визначення детермінованої політики Exercise 7: Обчислення цінностей станів для політики Exercise 8: Порівняння політик Exercise 9: Функції цінності дії Exercise 10: Обчислення Q-значень Exercise 11: Покращення політики Exercise 12: Ітерація політики та ітерація значень Exercise 13: Застосування ітерації політики для оптимальної політики

Поточна вправа

Exercise 14: Реалізація ітерації значень

Пройдіть шлях крізь динамічний світ навчання без моделі в RL. Ознайомтеся з базовими методами Монте-Карло та застосуйте алгоритми прогнозування першого відвідування і кожного відвідування. Перейдіть до навчання з тимчасовою різницею, дослідивши алгоритм SARSA. Нарешті, зануртеся у Q-learning і проаналізуйте його збіжність у складних середовищах.

Exercise 1: Методи Монте-Карло Exercise 2: Генерація епізодів для методів Монте-Карло Exercise 3: Реалізація Монте-Карло першого відвідування Exercise 4: Реалізація every-visit Monte Carlo Exercise 5: Навчання з тимчасовим різницюванням Exercise 6: Реалізація правила оновлення SARSA Exercise 7: Розв'язання 8×8 Frozen Lake за допомогою SARSA Exercise 8: Q-learning Exercise 9: Реалізація правила оновлення Q-learning Exercise 10: Розв'язання 8×8 Frozen Lake за допомогою Q-learning Exercise 11: Оцінювання політики на слизькому Frozen Lake

Опановуйте просунуті стратегії у модель-вільному RL, зосереджені на підсиленні алгоритмів ухвалення рішень. Дізнайтеся про Expected SARSA для точніших оновлень політики та Double Q-learning для зменшення упередження через переоцінку. Розгляньте компроміс дослідження та використання, опанувавши стратегії epsilon-greedy та epsilon-decay для оптимального вибору дій. Візьміться за задачу одноруких бандитів, застосовуючи стратегії для розв'язання проблем ухвалення рішень в умовах невизначеності.

Exercise 1: Expected SARSA Exercise 2: Правило оновлення Expected SARSA Exercise 3: Застосування Expected SARSA Exercise 4: Double Q-learning Exercise 5: Реалізація правила оновлення Double Q-learning Exercise 6: Застосування Double Q-learning Exercise 7: Баланс між дослідженням і використанням Exercise 8: Визначення функції epsilon-greedy Exercise 9: Розв'язання CliffWalking за допомогою стратегії epsilon-greedy Exercise 10: Розв'язання CliffWalking зі стратегією epsilon-greedy зі спаданням Exercise 11: Багаторукі бандити Exercise 12: Створення багаторукого бандита Exercise 13: Розв'язання задачі багаторукого бандита Exercise 14: Оцінювання збіжності у задачі про одночасні бандити Exercise 15: Вітаємо!