Treinamento, ajuste e feedback

Você está trabalhando em um projeto para desenvolver um modelo usando a técnica de aprendizado por reforço com feedback humano (RLHF, Reinforcement Learning from Human Feedback) para otimizar seu desempenho em um ambiente de atendimento ao cliente.

Qual destas opções descreve com mais precisão o processo de RLHF?

Este exercício faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

InicianteNível de habilidade

4.8+

Iniciar curso de graça

O mundo da IA está mudando rápido, e os Grandes Modelos de Linguagem (LLMs, Large Language Models) estão na vanguarda dessas mudanças. Este capítulo examina como os LLMs estão avançando no desenvolvimento da inteligência artificial semelhante à humana e transformando setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário da IA Exercise 2: Definição de LLM Exercise 3: LLMs no cenário da IA Exercise 4: Aplicações da IA x LLMs Exercise 5: Aplicações reais Exercise 6: Aplicações comerciais Exercise 7: Aplicações multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizado com uma ou várias tarefas

Este capítulo destaca a novidade dos LLMs e suas novas capacidades, ao mesmo tempo em que descreve várias técnicas de PLN para preparação de dados. Você vai aprender os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado n-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Solução de problemas com LLMs Exercise 3: Modelos tradicionais x LLMs Exercise 4: Visão geral do PLN Exercise 5: Preparação de dados Exercise 6: Pré-processamento e representação de textos Exercise 7: Representação vetorial de palavras em vez de sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios no desenvolvimento de LLMs Exercise 10: Adaptação de um modelo pré-treinado Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado n-shot

Neste capítulo, você vai aprender os componentes fundamentais do treinamento de um LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo apresenta uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Previsão da próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback

Exercício atual

Exercise 14: Desenvolvimento de um LLM

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a grande disponibilidade de dados, a qualidade dos dados, a rotulagem precisa e as implicações de dados enviesados. Você também vai examinar diversos riscos de LLMs, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo novas áreas de pesquisa e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Relevantes e sem vieses Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar