Q-learning

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Este ejercicio forma parte del curso

Reinforcement Learning con Gymnasium en Python

AvanzadoNivel de habilidad

4.8+

718 reviews

Empieza el curso gratis

Sumérgete en el mundo del Reinforcement Learning (RL) explorando sus conceptos, roles y aplicaciones fundamentales. Recorre el marco de RL, descubriendo la interacción agente-entorno. También aprenderás a usar la biblioteca Gymnasium para crear entornos, visualizar estados y ejecutar acciones, obteniendo así una base práctica en conceptos y aplicaciones de RL.

Exercise 1: Fundamentos del aprendizaje por refuerzo Exercise 2: ¿Qué es Reinforcement Learning?Exercise 3: RL vs. otros subdominios de ML Exercise 4: Escenarios para aplicar RL Exercise 5: Navegando por el marco de RL Exercise 6: Bucle de interacción de RL Exercise 7: Tareas de RL episódicas y continuas Exercise 8: Calcular retornos descontados para estrategias del agente Exercise 9: Interactuar con entornos de Gymnasium Exercise 10: Configurar un entorno de Mountain Car Exercise 11: Visualización del entorno Mountain Car Exercise 12: Interactúa con el entorno Frozen Lake

Profundiza en el mundo del RL centrándote en el aprendizaje basado en modelos. Desentraña la complejidad de los Procesos de Decisión de Markov (MDP) y comprende sus componentes esenciales. Amplía tus habilidades aprendiendo sobre políticas y funciones de valor. Domina la optimización de políticas con las técnicas de iteración de políticas e iteración de valores.

Exercise 1: Procesos de decisión de Markov Exercise 2: Componentes personalizados del MDP de Frozen Lake Exercise 3: Explorar los espacios de estados y acciones Exercise 4: Probabilidades de transición y recompensas Exercise 5: Políticas y funciones de valor de estado Exercise 6: Definir una política determinista Exercise 7: Calcular valores de estado para una política Exercise 8: Comparar políticas Exercise 9: Funciones valor-acción Exercise 10: Cálculo de Q-values Exercise 11: Mejorar una política Exercise 12: Iteración de políticas e iteración de valores Exercise 13: Aplicar iteración de políticas para obtener la política óptima Exercise 14: Implementación de value iteration

Emprende un recorrido por el dinámico ámbito del aprendizaje libre de modelo en RL. Descubre los métodos Monte Carlo fundamentales y aplica los algoritmos de predicción Monte Carlo de primera visita y de todas las visitas. Da el salto al aprendizaje por Diferencia Temporal, explorando el algoritmo SARSA. Por último, adéntrate en Q-Learning y analiza su convergencia en entornos desafiantes.

Exercise 1: Métodos Monte Carlo Exercise 2: Generación de episodios para métodos Monte Carlo Exercise 3: Implementar Monte Carlo de primera visita Exercise 4: Implementación de Monte Carlo de todas las visitas Exercise 5: Aprendizaje por diferencia temporal Exercise 6: Implementar la regla de actualización SARSA Exercise 7: Resolver Frozen Lake 8x8 con SARSA Exercise 8: Q-learning

Ejercicio actual

Exercise 9: Implementar la regla de actualización de Q-learning Exercise 10: Resolver Frozen Lake 8x8 con Q-learning Exercise 11: Evaluar la política en un Frozen Lake resbaladizo

Profundiza en estrategias avanzadas en RL libre de modelo, centradas en mejorar los algoritmos de toma de decisiones. Aprende Expected SARSA para actualizar políticas con mayor precisión y Double Q-learning para mitigar el sesgo de sobreestimación. Explora la compensación exploración-explotación, dominando las estrategias epsilon-greedy y epsilon-decay para seleccionar acciones de forma óptima. Afronta el problema del bandido de varios brazos aplicando estrategias para resolver decisiones bajo incertidumbre.

Exercise 1: SARSA esperado Exercise 2: Regla de actualización de Expected SARSA Exercise 3: Aplicar Expected SARSA Exercise 4: Double Q-learning Exercise 5: Implementar la regla de actualización de Double Q-learning Exercise 6: Aplicar Double Q-learning Exercise 7: Equilibrar exploración y explotación Exercise 8: Definir la función epsilon-greedy Exercise 9: Resolver CliffWalking con la estrategia epsilon-greedy Exercise 10: Resolver CliffWalking con una estrategia epsilon-greedy decreciente Exercise 11: Bandidos de varios brazos Exercise 12: Creando un multi-armed bandit Exercise 13: Resolver un bandido de varios brazos Exercise 14: Evaluar la convergencia en un problema de multi-armed bandit Exercise 15: ¡Enhorabuena!