Реалізація ітерації значень

Ітерація значень — це ключовий метод у RL для знаходження оптимальної політики. Вона поетапно покращує функцію цінності для кожного стану, доки та не збіжиться, і в результаті дає оптимальну політику. Ви почнете з ініціалізованих функції цінності V і policy, які вже завантажено для вас. Потім оновлюватимете їх у циклі, доки функція цінності не збіжиться, і побачите роботу політики на практиці.

Функцію get_max_action_and_value(state, V) уже попередньо завантажено для вас.

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

Переглянути курс

Інструкції до вправи

Для кожного стану знайдіть дію з максимальною Q-цінністю (max_action) і відповідне значення (max_q_value).
Оновіть словник new_V і policy на основі max_action і max_q_value.
Перевірте збіжність, переконавшись, що різниця між new_v і V для кожного стану менша за threshold.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

threshold = 0.001
while True:
  new_V = {}
  for state in range(num_states-1):
    # Get action with maximum Q-value and its value 
    max_action, max_q_value = ____
    # Update the value function and policy
    new_V[state] = ____
    policy[state] = ____
  # Test if change in state values is negligeable
  if all(abs(____ - ____) < ____ for state in ____):
    break
  V = new_V
render_policy(policy)

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning з Gymnasium у Python

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

Пориньте у світ Reinforcement Learning (RL), дослідивши його базові поняття, ролі та застосування. Розберіть рамку RL і взаємодію агента із середовищем. Ви також навчитеся працювати з бібліотекою Gymnasium: створювати середовища, візуалізувати стани та виконувати дії — щоб отримати практичний фундамент у концепціях і застосуваннях RL.

Exercise 1: Основи навчання з підкріпленням Exercise 2: Що таке Reinforcement Learning?Exercise 3: RL проти інших підгалузей ML Exercise 4: Сценарії для застосування RL Exercise 5: Опанування каркасу RL Exercise 6: Цикл взаємодії в RL Exercise 7: Епізодичні та безперервні завдання в RL Exercise 8: Обчислення дисконтових повернень для стратегій агента Exercise 9: Взаємодія з оточеннями Gymnasium Exercise 10: Налаштування середовища Mountain Car Exercise 11: Візуалізація середовища Mountain Car Exercise 12: Взаємодія із середовищем Frozen Lake

Заглибтеся в RL з фокусом на навчанні на основі моделі. Розкрийте сутність марковських процесів прийняття рішень (MDP), зрозумівши їхні ключові компоненти. Розширте свої навички, вивчивши політики та функції цінності. Опануйте оптимізацію політики за допомогою policy iteration і value iteration.

Exercise 1: Марковські процеси прийняття рішень Exercise 2: Користувацькі компоненти MDP для Frozen Lake Exercise 3: Дослідження просторів станів і дій Exercise 4: Імовірності переходів і винагороди Exercise 5: Політики та функції цінності стану Exercise 6: Визначення детермінованої політики Exercise 7: Обчислення цінностей станів для політики Exercise 8: Порівняння політик Exercise 9: Функції цінності дії Exercise 10: Обчислення Q-значень Exercise 11: Покращення політики Exercise 12: Ітерація політики та ітерація значень Exercise 13: Застосування ітерації політики для оптимальної політики Exercise 14: Реалізація ітерації значень

Поточна вправа

Пройдіть шлях крізь динамічний світ навчання без моделі в RL. Ознайомтеся з базовими методами Монте-Карло та застосуйте алгоритми прогнозування першого відвідування і кожного відвідування. Перейдіть до навчання з тимчасовою різницею, дослідивши алгоритм SARSA. Нарешті, зануртеся у Q-learning і проаналізуйте його збіжність у складних середовищах.

Exercise 1: Методи Монте-Карло Exercise 2: Генерація епізодів для методів Монте-Карло Exercise 3: Реалізація Монте-Карло першого відвідування Exercise 4: Реалізація every-visit Monte Carlo Exercise 5: Навчання з тимчасовим різницюванням Exercise 6: Реалізація правила оновлення SARSA Exercise 7: Розв'язання 8×8 Frozen Lake за допомогою SARSA Exercise 8: Q-learning Exercise 9: Реалізація правила оновлення Q-learning Exercise 10: Розв'язання 8×8 Frozen Lake за допомогою Q-learning Exercise 11: Оцінювання політики на слизькому Frozen Lake

Опановуйте просунуті стратегії у модель-вільному RL, зосереджені на підсиленні алгоритмів ухвалення рішень. Дізнайтеся про Expected SARSA для точніших оновлень політики та Double Q-learning для зменшення упередження через переоцінку. Розгляньте компроміс дослідження та використання, опанувавши стратегії epsilon-greedy та epsilon-decay для оптимального вибору дій. Візьміться за задачу одноруких бандитів, застосовуючи стратегії для розв'язання проблем ухвалення рішень в умовах невизначеності.

Exercise 1: Expected SARSA Exercise 2: Правило оновлення Expected SARSA Exercise 3: Застосування Expected SARSA Exercise 4: Double Q-learning Exercise 5: Реалізація правила оновлення Double Q-learning Exercise 6: Застосування Double Q-learning Exercise 7: Баланс між дослідженням і використанням Exercise 8: Визначення функції epsilon-greedy Exercise 9: Розв'язання CliffWalking за допомогою стратегії epsilon-greedy Exercise 10: Розв'язання CliffWalking зі стратегією epsilon-greedy зі спаданням Exercise 11: Багаторукі бандити Exercise 12: Створення багаторукого бандита Exercise 13: Розв'язання задачі багаторукого бандита Exercise 14: Оцінювання збіжності у задачі про одночасні бандити Exercise 15: Вітаємо!