Este capítulo presenta las bases de Reinforcement Learning with Human Feedback (RLHF), una técnica que usa la aportación humana para que los modelos de IA aprendan de forma más efectiva. Empieza con RLHF entendiendo en qué se diferencia del aprendizaje por refuerzo tradicional y por qué el feedback humano puede mejorar el rendimiento de la IA en distintos ámbitos.

Introducción a RLHF

Generación de texto con RLHF

Clasificar texto generado para RLHF

RL vs. RLHF

Explorar LLMs preentrenados

Tokeniza un conjunto de datos de texto

Ajuste fino para clasificar reseñas

Preparar datos para RLHF

Preparar el conjunto de datos de preferencias

Extracción de prompts

Conceptos fundamentales

Descubre cómo configurar sistemas para recopilar feedback humano en este capítulo. Aprende buenas prácticas para recoger datos de alta calidad, desde comparaciones por pares hasta muestreo por incertidumbre, y explora estrategias para potenciar tu proceso de recopilación de datos.

Métodos para recopilar feedback de alta calidad

Comprender comparación y puntuación en RLHF

Comparar eslóganes para una campaña de gimnasio

Medir la calidad y la relevancia del feedback

Baja confianza

K-means para agrupar feedback

Active learning

Implementación de una canalización de active learning

Bucle de active learning

Recopilación de feedback humano

En este capítulo, entrarás en el núcleo del entrenamiento con Reinforcement Learning from Human Feedback. Esto incluye explorar el fine-tuning con PPO, técnicas para entrenar de forma eficiente y cómo manejar posibles desviaciones respecto a los objetivos de tus métricas.

Explorando los modelos de recompensa

Inicializar la recompensa

Configurar el entrenador de recompensas

Entrenamiento con PPO

Inicializa el entrenador de PPO

Ajuste fino con PPO

Ajuste eficiente en RLHF

Preparar el entrenamiento en 8 bits

Entrenar con LoRA

Ajuste de modelos con feedback humano

Explora técnicas clave para evaluar y mejorar el rendimiento del modelo en este último capítulo de Reinforcement Learning from Human Feedback (RLHF): desde métricas de fine-tuning hasta la incorporación de fuentes de feedback diversas, contarás con un conjunto de herramientas completo para perfeccionar tus modelos de forma efectiva.

Métricas del modelo y ajustes

Cómo mitigar la divergencia KL negativa

Comprobando el reward model

Incorporar fuentes de feedback diversas

Votación por mayoría con múltiples fuentes de datos

Identificación de fuentes de datos poco fiables

Evaluar modelos RLHF

Interpretar curvas

Evaluar RLHF con métricas

Cerrando tu recorrido por RLHF

Evaluación de modelos

Combina la eficiencia de la IA generativa con el criterio de la experiencia humana en este curso sobre Reinforcement Learning from Human Feedback. Aprenderás a hacer que los modelos de GenAI reflejen de verdad los valores y preferencias humanas mientras adquieres experiencia práctica con LLMs. También abordarás las complejidades de los modelos de recompensa y aprenderás a construir sobre LLMs para producir una IA que no solo aprenda, sino que también se adapte a escenarios del mundo real.

Deep Reinforcement Learning in Python

Aprende a hacer que los modelos GenAI reflejen valores humanos y adquiere experiencia con LLM avanzados.

Reinforcement Learning from Human Feedback (RLHF)

Aprende a crear modelos de IA generativa que reflejen los valores humanos mientras adquieres experiencia práctica con LLM avanzados.

Desarrollar grandes modelos lingüísticos

Aprendizaje por Refuerzo en Python

Comprobando el reward model

Reinforcement Learning from Human Feedback (RLHF)

Ejercicio interactivo práctico