Criando um multi-armed bandit

Um problema de multi-armed bandit é um exemplo clássico usado em reinforcement learning para descrever um cenário em que um agente precisa escolher entre várias ações (ou "braços") sem conhecer a recompensa esperada de cada uma. Com o tempo, o agente aprende qual braço gera a maior recompensa explorando cada opção. Este exercício envolve configurar a estrutura básica para simular um problema de multi-armed bandit.

A biblioteca numpy já foi importada como np.

Este exercício faz parte do curso

Reinforcement Learning com Gymnasium em Python

Instruções do exercício

Gere um array true_bandit_probs com probabilidades aleatórias que representam a taxa de sucesso real de cada bandit.
Inicialize dois arrays, counts e values, com zeros; counts registra quantas vezes cada bandit foi escolhido, e values representa a probabilidade de vitória estimada de cada bandit.
Crie os arrays rewards e selected_arms para armazenar, em cada iteração, as recompensas obtidas e os braços selecionados.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

def create_multi_armed_bandit(n_bandits):
  	# Generate the true bandits probabilities
    true_bandit_probs = ____ 
    # Create arrays that store the count and value for each bandit
    counts = ____  
    values = ____  
    # Create arrays that store the rewards and selected arms each episode
    rewards = ____
    selected_arms = ____ 
    return true_bandit_probs, counts, values, rewards, selected_arms

Editar e executar o código

Este exercício faz parte do curso

Reinforcement Learning com Gymnasium em Python

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Mergulhe no mundo do Reinforcement Learning (RL) explorando seus conceitos, papéis e aplicações fundamentais. Navegue pelo framework de RL, entendendo a interação agente-ambiente. Você também vai aprender a usar a biblioteca Gymnasium para criar ambientes, visualizar estados e executar ações, construindo uma base prática em conceitos e aplicações de RL.

Exercise 1: Fundamentos de reinforcement learning Exercise 2: O que é Reinforcement Learning?Exercise 3: RL vs. outros subdomínios de ML Exercise 4: Cenários para aplicar RL Exercise 5: Navegando pelo framework de RL Exercise 6: Loop de interação em RL Exercise 7: Tarefas de RL episódicas e contínuas Exercise 8: Calculando retornos descontados para estratégias do agente Exercise 9: Interagindo com ambientes do Gymnasium Exercise 10: Configurando um ambiente Mountain Car Exercise 11: Visualizando o ambiente Mountain Car Exercise 12: Interagindo com o ambiente Frozen Lake

Aprofunde-se no mundo de RL com foco no aprendizado baseado em modelo. Desvende as complexidades dos Processos de Decisão de Markov (MDPs), entendendo seus componentes essenciais. Aprimore seu conjunto de habilidades aprendendo sobre políticas e funções de valor. Ganhe domínio em otimização de políticas com as técnicas de iteração de política e iteração de valor.

Exercise 1: Processos de Decisão de Markov Exercise 2: Componentes personalizados do MDP do Frozen Lake Exercise 3: Explorando os espaços de estados e ações Exercise 4: Probabilidades de transição e recompensas Exercise 5: Políticas e funções de valor de estado Exercise 6: Definindo uma política determinística Exercise 7: Calculando valores de estado para uma política Exercise 8: Comparando políticas Exercise 9: Funções valor-ação Exercise 10: Calculando valores-Q Exercise 11: Aprimorando uma política Exercise 12: Iteração de políticas e iteração de valores Exercise 13: Aplicando iteração de política para encontrar a política ótima Exercise 14: Implementando value iteration

Embarque em uma jornada pelo dinâmico universo do aprendizado livre de modelo em RL. Conheça os métodos fundamentais de Monte Carlo e aplique os algoritmos de predição Monte Carlo de primeira visita e de todas as visitas. Em seguida, avance para o mundo do Aprendizado por Diferença Temporal, explorando o algoritmo SARSA. Por fim, mergulhe no Q-Learning e analise sua convergência em ambientes desafiadores.

Exercise 1: Métodos de Monte Carlo Exercise 2: Geração de episódios para métodos de Monte Carlo Exercise 3: Implementando Monte Carlo de primeira visita Exercise 4: Implementando Monte Carlo de todas as visitas Exercise 5: Aprendizado por diferença temporal Exercise 6: Implementando a regra de atualização do SARSA Exercise 7: Resolvendo o Frozen Lake 8x8 com SARSA Exercise 8: Q-learning Exercise 9: Implementando a regra de atualização do Q-learning Exercise 10: Resolvendo o Frozen Lake 8x8 com Q-learning Exercise 11: Avaliando a política em um Frozen Lake escorregadio

Mergulhe em estratégias avançadas em RL livre de modelo, com foco em aprimorar algoritmos de tomada de decisão. Aprenda sobre Expected SARSA para atualizações de política mais precisas e Double Q-learning para reduzir o viés de superestimação. Explore o equilíbrio entre exploração e exploração, dominando as estratégias epsilon-greedy e epsilon-decay para seleção de ações ideal. Enfrente o problema do bandido de múltiplos braços, aplicando estratégias para resolver desafios de decisão sob incerteza.

Exercise 1: Expected SARSA Exercise 2: Regra de atualização do Expected SARSA Exercise 3: Aplicando Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementando a regra de atualização do Double Q-learning Exercise 6: Aplicando Double Q-learning Exercise 7: Equilibrando exploração e aproveitamento Exercise 8: Definindo a função epsilon-greedy Exercise 9: Resolvendo CliffWalking com estratégia epsilon-greedy Exercise 10: Resolvendo CliffWalking com estratégia epsilon-greedy com decaimento Exercise 11: Caça-níqueis multiarmados Exercise 12: Criando um multi-armed bandit

Exercício atual

Exercise 13: Resolvendo um bandido de múltiplos braços Exercise 14: Avaliando a convergência em um problema de multi-armed bandit Exercise 15: Parabéns!