Resolvendo o Frozen Lake 8x8 com SARSA

Neste exercício, você vai aplicar o algoritmo SARSA, incorporando a função update_q_table() que você implementou anteriormente, para aprender uma política ótima no ambiente Frozen Lake 8x8. Esse ambiente é idêntico ao clássico 4x4, com a única diferença de ser maior. Você usará o algoritmo SARSA para melhorar iterativamente a política do agente com base nas recompensas recebidas do ambiente.

Uma Q-table Q já foi inicializada e pré-carregada para você, junto com a função update_q_table() do exercício anterior.

Este exercício faz parte do curso

Reinforcement Learning com Gymnasium em Python

Instruções do exercício

Para cada episódio do processo de treino, execute a action selecionada.
Escolha a next_action aleatoriamente.
Atualize a Q-table para o state e a action fornecidos.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

for episode in range(num_episodes):
    state, info = env.reset()
    action = env.action_space.sample()
    terminated = False
    while not terminated:
      	# Execute the action
        next_state, reward, terminated, truncated, info = ____
        # Choose the next action randomly
        next_action = ____
        # Update the Q-table
        ____
        state, action = next_state, next_action   
render_policy(get_policy())

Editar e executar o código

Este exercício faz parte do curso

Reinforcement Learning com Gymnasium em Python

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Mergulhe no mundo do Reinforcement Learning (RL) explorando seus conceitos, papéis e aplicações fundamentais. Navegue pelo framework de RL, entendendo a interação agente-ambiente. Você também vai aprender a usar a biblioteca Gymnasium para criar ambientes, visualizar estados e executar ações, construindo uma base prática em conceitos e aplicações de RL.

Exercise 1: Fundamentos de reinforcement learning Exercise 2: O que é Reinforcement Learning?Exercise 3: RL vs. outros subdomínios de ML Exercise 4: Cenários para aplicar RL Exercise 5: Navegando pelo framework de RL Exercise 6: Loop de interação em RL Exercise 7: Tarefas de RL episódicas e contínuas Exercise 8: Calculando retornos descontados para estratégias do agente Exercise 9: Interagindo com ambientes do Gymnasium Exercise 10: Configurando um ambiente Mountain Car Exercise 11: Visualizando o ambiente Mountain Car Exercise 12: Interagindo com o ambiente Frozen Lake

Aprofunde-se no mundo de RL com foco no aprendizado baseado em modelo. Desvende as complexidades dos Processos de Decisão de Markov (MDPs), entendendo seus componentes essenciais. Aprimore seu conjunto de habilidades aprendendo sobre políticas e funções de valor. Ganhe domínio em otimização de políticas com as técnicas de iteração de política e iteração de valor.

Exercise 1: Processos de Decisão de Markov Exercise 2: Componentes personalizados do MDP do Frozen Lake Exercise 3: Explorando os espaços de estados e ações Exercise 4: Probabilidades de transição e recompensas Exercise 5: Políticas e funções de valor de estado Exercise 6: Definindo uma política determinística Exercise 7: Calculando valores de estado para uma política Exercise 8: Comparando políticas Exercise 9: Funções valor-ação Exercise 10: Calculando valores-Q Exercise 11: Aprimorando uma política Exercise 12: Iteração de políticas e iteração de valores Exercise 13: Aplicando iteração de política para encontrar a política ótima Exercise 14: Implementando value iteration

Embarque em uma jornada pelo dinâmico universo do aprendizado livre de modelo em RL. Conheça os métodos fundamentais de Monte Carlo e aplique os algoritmos de predição Monte Carlo de primeira visita e de todas as visitas. Em seguida, avance para o mundo do Aprendizado por Diferença Temporal, explorando o algoritmo SARSA. Por fim, mergulhe no Q-Learning e analise sua convergência em ambientes desafiadores.

Exercise 1: Métodos de Monte Carlo Exercise 2: Geração de episódios para métodos de Monte Carlo Exercise 3: Implementando Monte Carlo de primeira visita Exercise 4: Implementando Monte Carlo de todas as visitas Exercise 5: Aprendizado por diferença temporal Exercise 6: Implementando a regra de atualização do SARSA Exercise 7: Resolvendo o Frozen Lake 8x8 com SARSA

Exercício atual

Exercise 8: Q-learning Exercise 9: Implementando a regra de atualização do Q-learning Exercise 10: Resolvendo o Frozen Lake 8x8 com Q-learning Exercise 11: Avaliando a política em um Frozen Lake escorregadio

Mergulhe em estratégias avançadas em RL livre de modelo, com foco em aprimorar algoritmos de tomada de decisão. Aprenda sobre Expected SARSA para atualizações de política mais precisas e Double Q-learning para reduzir o viés de superestimação. Explore o equilíbrio entre exploração e exploração, dominando as estratégias epsilon-greedy e epsilon-decay para seleção de ações ideal. Enfrente o problema do bandido de múltiplos braços, aplicando estratégias para resolver desafios de decisão sob incerteza.

Exercise 1: Expected SARSA Exercise 2: Regra de atualização do Expected SARSA Exercise 3: Aplicando Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementando a regra de atualização do Double Q-learning Exercise 6: Aplicando Double Q-learning Exercise 7: Equilibrando exploração e aproveitamento Exercise 8: Definindo a função epsilon-greedy Exercise 9: Resolvendo CliffWalking com estratégia epsilon-greedy Exercise 10: Resolvendo CliffWalking com estratégia epsilon-greedy com decaimento Exercise 11: Caça-níqueis multiarmados Exercise 12: Criando um multi-armed bandit Exercise 13: Resolvendo um bandido de múltiplos braços Exercise 14: Avaliando a convergência em um problema de multi-armed bandit Exercise 15: Parabéns!