Autoatenção vs. atenção de várias cabeças

Você é analista de dados em uma equipe de desenvolvimento de IA. Seu projeto atual envolve entender e implementar os conceitos de autoatenção e atenção multi-head em um modelo de linguagem. Considere as seguintes frases de um conjunto de dados de conversas.

Use o aplicativo interativo para explorar a diferença entre autoatenção (relações entre palavras específicas dentro do texto) e atenção multi-head (processamento simultâneo de vários aspectos do texto).

Quais tarefas de análise são exemplos de autoatenção versus atenção multi-head?

Este exercicio faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio

Este exercicio faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

InicianteNível de habilidade

4.8+

10571 reviews

Comece o curso gratuitamente

O mundo da IA está mudando rápido, e os Grandes Modelos de Linguagem (LLMs, Large Language Models) estão na vanguarda dessas mudanças. Este capítulo examina como os LLMs estão avançando no desenvolvimento da inteligência artificial semelhante à humana e transformando setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário da IA Exercise 2: Definição de LLM Exercise 3: LLMs no cenário da IA Exercise 4: Aplicações da IA x LLMs Exercise 5: Aplicações reais Exercise 6: Aplicações comerciais Exercise 7: Aplicações multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizado com uma ou várias tarefas

Este capítulo destaca a novidade dos LLMs e suas novas capacidades, ao mesmo tempo em que descreve várias técnicas de PLN para preparação de dados. Você vai aprender os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado n-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Resolução de problemas com LLMs Exercise 3: Modelos tradicionais x LLMs Exercise 4: Visão geral do PLN Exercise 5: Preparação de dados Exercise 6: Pré-processamento e representação de textos Exercise 7: Representação vetorial de palavras em vez de sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios no desenvolvimento de LLMs Exercise 10: Adaptação de um modelo pré-treinado Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado n-shot

Neste capítulo, você vai aprender os componentes fundamentais do treinamento de um LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo apresenta uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Prever a próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças

Exercicio Atual

Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback Exercise 14: Desenvolvimento de um LLM

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a grande disponibilidade de dados, a qualidade dos dados, a rotulagem precisa e as implicações de dados enviesados. Você também vai examinar diversos riscos de LLMs, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo novas áreas de pesquisa e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Relevantes e sem vieses Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar