Treinamento, ajuste e feedback

Você está trabalhando em um projeto para desenvolver um modelo usando a técnica de Aprendizado por reforço com feedback humano (RLHF) para otimizar seu desempenho em um ambiente de suporte ao cliente.

Qual dessas opções descreve com mais precisão o processo de RLHF?

Este exercício faz parte do curso

Conceitos de modelos de linguagem grandes (LLMs)

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Conceitos de modelos de linguagem grandes (LLMs)

InicianteNível de habilidade

4.8+

Iniciar curso de graça

O cenário da IA está evoluindo rapidamente, e os modelos de linguagem grandes (LLMs) estão na vanguarda dessa evolução. Este capítulo examina como os LLMs estão avançando no desenvolvimento de inteligência artificial semelhante à humana e transformando os setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário de IA Exercise 2: Definição de um LLM Exercise 3: LLMs no cenário de IA Exercise 4: Aplicativos de IA vs. LLM Exercise 5: Aplicativos do mundo real Exercise 6: Aplicativos de negócios Exercise 7: Aplicativos multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizagem com uma ou várias tarefas

Este capítulo enfatiza a inovação dos LLMs e seus recursos emergentes, ao mesmo tempo em que descreve várias técnicas de NLP para preparação de dados. Você aprenderá os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado N-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Solução de problemas com LLMs Exercise 3: Modelos tradicionais vs. LLMs Exercise 4: Visão geral do NLP Exercise 5: Preparação de dados Exercise 6: Pré-processamento e representação de texto Exercise 7: Incorporação de palavras em sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios na construção de LLMs Exercise 10: Adaptação de um modelo pré-treinado Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado N-shot

Neste capítulo, você aprenderá sobre os componentes fundamentais do treinamento do LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo discute uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Previsão da próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback

Exercício atual

Exercise 14: Construção de um LLM

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a disponibilidade de dados grandes, a qualidade dos dados, a rotulagem precisa e as implicações de dados tendenciosos. Você também examinará vários riscos do LLM, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo as áreas de pesquisa emergentes e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Não tendencioso e relevante Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar