Implementando a regra de atualização do Double Q-learning

Double Q-learning é uma extensão do algoritmo Q-learning que ajuda a reduzir a superestimação dos valores de ação mantendo e atualizando duas Q-tables separadas. Ao desacoplar a seleção da ação da avaliação da ação, o Double Q-learning fornece uma estimativa mais precisa dos valores de Q. Este exercício orienta você a implementar a regra de atualização do Double Q-learning. Uma lista Q contendo duas Q-tables já foi gerada.

A biblioteca numpy foi importada como np, e os valores de gamma e alpha foram pré-carregados. As fórmulas de atualização estão abaixo:

Image showing the update rule of Q1.

Image showing the update rule of Q2.

Este exercício faz parte do curso

Reinforcement Learning com Gymnasium em Python

Instruções do exercício

Decida aleatoriamente qual Q-table dentro de Q será atualizada para a estimativa do valor da ação, calculando seu índice i.
Execute as etapas necessárias para atualizar Q[i].

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

Q = [np.random.rand(8,4), np.random.rand(8,4)] 
def update_q_tables(state, action, reward, next_state):
  	# Get the index of the table to update
    i = ____
    # Update Q[i]
    best_next_action = ____
    Q[i][state, action] = ____

Editar e executar o código

Este exercício faz parte do curso

Reinforcement Learning com Gymnasium em Python

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Mergulhe no mundo do Reinforcement Learning (RL) explorando seus conceitos, papéis e aplicações fundamentais. Navegue pelo framework de RL, entendendo a interação agente-ambiente. Você também vai aprender a usar a biblioteca Gymnasium para criar ambientes, visualizar estados e executar ações, construindo uma base prática em conceitos e aplicações de RL.

Exercise 1: Fundamentos de reinforcement learning Exercise 2: O que é Reinforcement Learning?Exercise 3: RL vs. outros subdomínios de ML Exercise 4: Cenários para aplicar RL Exercise 5: Navegando pelo framework de RL Exercise 6: Loop de interação em RL Exercise 7: Tarefas de RL episódicas e contínuas Exercise 8: Calculando retornos descontados para estratégias do agente Exercise 9: Interagindo com ambientes do Gymnasium Exercise 10: Configurando um ambiente Mountain Car Exercise 11: Visualizando o ambiente Mountain Car Exercise 12: Interagindo com o ambiente Frozen Lake

Aprofunde-se no mundo de RL com foco no aprendizado baseado em modelo. Desvende as complexidades dos Processos de Decisão de Markov (MDPs), entendendo seus componentes essenciais. Aprimore seu conjunto de habilidades aprendendo sobre políticas e funções de valor. Ganhe domínio em otimização de políticas com as técnicas de iteração de política e iteração de valor.

Exercise 1: Processos de Decisão de Markov Exercise 2: Componentes personalizados do MDP do Frozen Lake Exercise 3: Explorando os espaços de estados e ações Exercise 4: Probabilidades de transição e recompensas Exercise 5: Políticas e funções de valor de estado Exercise 6: Definindo uma política determinística Exercise 7: Calculando valores de estado para uma política Exercise 8: Comparando políticas Exercise 9: Funções valor-ação Exercise 10: Calculando valores-Q Exercise 11: Aprimorando uma política Exercise 12: Iteração de políticas e iteração de valores Exercise 13: Aplicando iteração de política para encontrar a política ótima Exercise 14: Implementando value iteration

Embarque em uma jornada pelo dinâmico universo do aprendizado livre de modelo em RL. Conheça os métodos fundamentais de Monte Carlo e aplique os algoritmos de predição Monte Carlo de primeira visita e de todas as visitas. Em seguida, avance para o mundo do Aprendizado por Diferença Temporal, explorando o algoritmo SARSA. Por fim, mergulhe no Q-Learning e analise sua convergência em ambientes desafiadores.

Exercise 1: Métodos de Monte Carlo Exercise 2: Geração de episódios para métodos de Monte Carlo Exercise 3: Implementando Monte Carlo de primeira visita Exercise 4: Implementando Monte Carlo de todas as visitas Exercise 5: Aprendizado por diferença temporal Exercise 6: Implementando a regra de atualização do SARSA Exercise 7: Resolvendo o Frozen Lake 8x8 com SARSA Exercise 8: Q-learning Exercise 9: Implementando a regra de atualização do Q-learning Exercise 10: Resolvendo o Frozen Lake 8x8 com Q-learning Exercise 11: Avaliando a política em um Frozen Lake escorregadio

Mergulhe em estratégias avançadas em RL livre de modelo, com foco em aprimorar algoritmos de tomada de decisão. Aprenda sobre Expected SARSA para atualizações de política mais precisas e Double Q-learning para reduzir o viés de superestimação. Explore o equilíbrio entre exploração e exploração, dominando as estratégias epsilon-greedy e epsilon-decay para seleção de ações ideal. Enfrente o problema do bandido de múltiplos braços, aplicando estratégias para resolver desafios de decisão sob incerteza.

Exercise 1: Expected SARSA Exercise 2: Regra de atualização do Expected SARSA Exercise 3: Aplicando Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementando a regra de atualização do Double Q-learning

Exercício atual

Exercise 6: Aplicando Double Q-learning Exercise 7: Equilibrando exploração e aproveitamento Exercise 8: Definindo a função epsilon-greedy Exercise 9: Resolvendo CliffWalking com estratégia epsilon-greedy Exercise 10: Resolvendo CliffWalking com estratégia epsilon-greedy com decaimento Exercise 11: Caça-níqueis multiarmados Exercise 12: Criando um multi-armed bandit Exercise 13: Resolvendo um bandido de múltiplos braços Exercise 14: Avaliando a convergência em um problema de multi-armed bandit Exercise 15: Parabéns!