Desenvolvimento de um LLM

Há muitas etapas na construção de um LLM. Com a crescente popularidade dos LLMs, sua empresa pediu que você, como evangelista de dados, faça uma apresentação na próxima conferência da empresa e explique conceitualmente o que é necessário para construir esses modelos. Para isso, você precisa se lembrar das diversas técnicas usadas para criar um modelo bem-sucedido.

Use o aplicativo interativo para explorar cada etapa do processo de construção de um LLM.

Em qual etapa do processo de construção você usa embeddings de palavras?

Este exercicio faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio

Este exercicio faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

InicianteNível de habilidade

4.8+

10567 reviews

Comece o curso gratuitamente

O mundo da IA está mudando rápido, e os Grandes Modelos de Linguagem (LLMs, Large Language Models) estão na vanguarda dessas mudanças. Este capítulo examina como os LLMs estão avançando no desenvolvimento da inteligência artificial semelhante à humana e transformando setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário da IA Exercise 2: Definição de LLM Exercise 3: LLMs no cenário da IA Exercise 4: Aplicações da IA x LLMs Exercise 5: Aplicações reais Exercise 6: Aplicações comerciais Exercise 7: Aplicações multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizado com uma ou várias tarefas

Este capítulo destaca a novidade dos LLMs e suas novas capacidades, ao mesmo tempo em que descreve várias técnicas de PLN para preparação de dados. Você vai aprender os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado n-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Resolução de problemas com LLMs Exercise 3: Modelos tradicionais x LLMs Exercise 4: Visão geral do PLN Exercise 5: Preparação de dados Exercise 6: Pré-processamento e representação de textos Exercise 7: Representação vetorial de palavras em vez de sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios no desenvolvimento de LLMs Exercise 10: Adaptação de um modelo pré-treinado Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado n-shot

Neste capítulo, você vai aprender os componentes fundamentais do treinamento de um LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo apresenta uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Prever a próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback Exercise 14: Desenvolvimento de um LLM

Exercicio Atual

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a grande disponibilidade de dados, a qualidade dos dados, a rotulagem precisa e as implicações de dados enviesados. Você também vai examinar diversos riscos de LLMs, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo novas áreas de pesquisa e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Relevantes e sem vieses Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar