1. Aprender
    2. /
  2. Cursos
    3. /
  3. Aprendizado por reforço profundo em Python
  • 1

    Introdução ao aprendizado por reforço profundo

    Gratuito

    Descubra como o aprendizado por reforço profundo melhora o aprendizado por reforço tradicional enquanto você estuda e implementa seu primeiro algoritmo de Deep Q Learning.

  • 2

    Aprendizado Q profundo

    Mergulhe no Deep Q-learning implementando o algoritmo original DQN, com Experience Replay, epsilon-greediness e Q-targets fixos. Além de DQN, você explorará duas extensões fascinantes que melhoram o desempenho e a estabilidade do Deep Q-learning: Duplo DQN e repetição de experiência priorizada.

  • 3

    Introdução aos métodos de gradiente de política

    Conheça os conceitos básicos dos métodos de gradiente de política encontrados em DRL. Você começará com o teorema do gradiente de política, que forma a base para esses métodos. Em seguida, você implementará o algoritmo REINFORCE, uma abordagem poderosa para aprender políticas. Em seguida, o capítulo guiará você pelos métodos Actor-Critic, com foco no algoritmo Advantage Actor-Critic (A2C), que combina os pontos fortes dos métodos de gradiente de política e baseados em valor para aumentar a eficiência e a estabilidade do aprendizado.

  • 4

    Otimização da política proximal e DRL Dicas

    Explore a otimização da política proximal (PPO) para obter um desempenho robusto em DRL. Em seguida, você examinará o uso de um bônus de entropia em PPO, que incentiva a exploração ao evitar a convergência prematura para políticas determinísticas. Você também aprenderá sobre atualizações em lote em métodos de gradiente de política. Por fim, você aprenderá sobre a otimização de hiperparâmetros com o Optuna, uma ferramenta avançada para otimizar o desempenho dos seus modelos DRL.

Initializing

Exercicio

Metas Q fixas

Você está se preparando para treinar seu Lunar Lander com alvos Q fixos. Como pré-requisito, você precisa instanciar a rede on-line (que escolhe a ação) e a rede de destino (usada para o cálculo do TD-target).

Você também precisa implementar uma função update_target_network que possa ser usada em cada etapa de treinamento. A rede de destino não é atualizada pela descida do gradiente; em vez disso, o site update_target_network empurra seus pesos para a rede Q em uma pequena quantidade, garantindo que ela permaneça bastante estável ao longo do tempo.

Observe que, somente para este exercício, você usará uma rede muito pequena para que possamos imprimir e inspecionar facilmente seu dicionário de estado. Ele tem apenas uma camada oculta de tamanho 2; seu espaço de ação e espaço de estado também são de dimensão 2.

A função print_state_dict() está disponível em seu ambiente para imprimir o dict de estado.

Instruções

100 XP
  • Obtenha o endereço .state_dict() para as redes alvo e on-line.
  • Atualize o ditado de estado para a rede de destino fazendo a média ponderada entre os parâmetros da rede on-line e da rede de destino, usando tau como peso para a rede on-line.
  • Carregue o ditado de estado atualizado de volta na rede de destino.