Adaptação de um modelo pré-treinado

Você acabou de conseguir um projeto interessante que envolve a classificação de documentos jurídicos usando técnicas de NLP. Sua equipe pode acessar um modelo de linguagem pré-treinado, treinado inicialmente com artigos de notícias. Para que esse projeto seja bem-sucedido, você precisa adaptar o modelo pré-treinado para classificar documentos jurídicos de forma eficaz.

Como você pode adaptar um modelo de linguagem pré-treinado e treinado em outro tipo de texto, como artigos de notícias, para classificar documentos jurídicos?

Este exercício faz parte do curso

Conceitos de modelos de linguagem grandes (LLMs)

Ver Curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Comece o exercício

Este exercício faz parte do curso

Conceitos de modelos de linguagem grandes (LLMs)

InicianteNível de habilidade

4.8+

1224 reviews

Iniciar curso gratuitamente

O cenário da IA está evoluindo rapidamente, e os modelos de linguagem grandes (LLMs) estão na vanguarda dessa evolução. Este capítulo examina como os LLMs estão avançando no desenvolvimento de inteligência artificial semelhante à humana e transformando os setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário de IA Exercise 2: Definição de um LLM Exercise 3: LLMs no cenário de IA Exercise 4: Aplicativos de IA vs. LLM Exercise 5: Aplicativos do mundo real Exercise 6: Aplicativos de negócios Exercise 7: Aplicativos multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizagem com uma ou várias tarefas

Este capítulo enfatiza a inovação dos LLMs e seus recursos emergentes, ao mesmo tempo em que descreve várias técnicas de NLP para preparação de dados. Você aprenderá os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado N-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Solução de problemas com LLMs Exercise 3: Modelos tradicionais vs. LLMs Exercise 4: Visão geral do NLP Exercise 5: Preparação de dados Exercise 6: Pré-processamento e representação de texto Exercise 7: Incorporação de palavras em sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios na construção de LLMs Exercise 10: Adaptação de um modelo pré-treinado

Exercício atual

Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado N-shot

Neste capítulo, você aprenderá sobre os componentes fundamentais do treinamento do LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo discute uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Previsão da próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback Exercise 14: Construção de um LLM

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a disponibilidade de dados grandes, a qualidade dos dados, a rotulagem precisa e as implicações de dados tendenciosos. Você também examinará vários riscos do LLM, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo as áreas de pesquisa emergentes e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Não tendencioso e relevante Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar