Este capítulo apresenta os fundamentos de Reinforcement Learning with Human Feedback (RLHF), uma técnica que usa a contribuição humana para ajudar modelos de IA a aprender de forma mais eficaz. Comece com RLHF entendendo como ele difere do aprendizado por reforço tradicional e por que o feedback humano pode aprimorar o desempenho da IA em diferentes domínios.

Introdução ao RLHF

Geração de texto com RLHF

Classificando texto gerado para RLHF

RL vs. RLHF

Explorando LLMs pré-treinadas

Tokenizar um conjunto de dados de texto

Fine-tuning para classificação de avaliações

Preparando dados para RLHF

Preparando o conjunto de dados de preferências

Extraindo prompts

Conceitos Fundamentais

Descubra como configurar sistemas para coletar feedback humano neste capítulo. Aprenda boas práticas para coletar dados de alta qualidade — de comparações pareadas a amostragem por incerteza — e explore estratégias para potencializar sua coleta de dados.

Métodos para coletar feedback de alta qualidade

Entendendo comparação e rating em RLHF

Comparando slogans para uma campanha de academia

Mensurando a qualidade e a relevância do feedback

Baixa confiança

K-means para agrupar feedbacks

Active learning

Implementando um pipeline de active learning

Loop de active learning

Coleta de Feedback Humano

Neste capítulo, você vai entrar no núcleo do treinamento de Reinforcement Learning from Human Feedback. Isso inclui explorar fine-tuning com PPO, técnicas para treinar com eficiência e como lidar com possíveis divergências em relação aos objetivos das suas métricas.

Explorando modelos de recompensa

Inicializando o reward

Configurando o treinador de recompensa

Treinando com PPO

Inicializar o treinador PPO

Ajuste fino com PPO

Ajuste fino eficiente em RLHF

Prepare para treinamento em 8 bits

Treinar com LoRA

Ajustando Modelos com Feedback Humano

Explore técnicas essenciais para avaliar e melhorar o desempenho do modelo neste último capítulo de Reinforcement Learning from Human Feedback (RLHF): de métricas de fine-tuning à incorporação de fontes diversas de feedback, você terá um conjunto completo de ferramentas para refinar seus modelos com eficácia.

Métricas do modelo e ajustes

Mitigando a divergência KL negativa

Verificando o modelo de recompensa

Incorporando fontes diversas de feedback

Votação por maioria em múltiplas fontes de dados

Identificação de fonte de dados não confiável

Avaliando modelos de RLHF

Interpretando curvas

Avaliando RLHF com métricas

Encerrando sua jornada em RLHF

Avaliação de Modelos

Combine a eficiência da IA Generativa com o conhecimento da experiência humana neste curso sobre Reinforcement Learning from Human Feedback. Você vai aprender a fazer com que modelos de GenAI reflitam de fato valores e preferências humanas enquanto ganha prática com LLMs. Você também vai navegar pelas complexidades de modelos de recompensa e aprender a construir sobre LLMs para produzir uma IA que não apenas aprende, mas também se adapta a cenários do mundo real.

Deep Reinforcement Learning in Python

Aprenda a fazer modelos GenAI refletirem valores humanos enquanto ganha experiência com LLMs avançados.

Reinforcement Learning from Human Feedback (RLHF)

Aprenda como fazer com que os modelos GenAI realmente reflitam os valores humanos enquanto ganha experiência prática com LLMs avançados.

Desenvolvimento de modelos de idiomas grandes

Aprendizagem por reforço em Python

Interpretando curvas

Reinforcement Learning from Human Feedback (RLHF)

Exercício interativo prático