Preparação de dados

Você está criando um modelo de aprendizado de máquina que usa NLP para um projeto de análise de sentimentos que classifica as avaliações de restaurantes como positivas, negativas ou neutras. Para preparar os dados para treinamento, você deve pré-processar e representar os dados de texto numericamente.

Seu conjunto de dados contém milhares de avaliações, uma das quais afirma:

"A comida estava deliciosa, mas o serviço foi extremamente lento."

Quais etapas de pré-processamento de texto provavelmente removerão as palavras "mas" e "foi" dessa avaliação?

Este exercício faz parte do curso

Conceitos de modelos de linguagem grandes (LLMs)

Ver Curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Comece o exercício

Este exercício faz parte do curso

Conceitos de modelos de linguagem grandes (LLMs)

InicianteNível de habilidade

4.8+

1222 reviews

Iniciar curso gratuitamente

O cenário da IA está evoluindo rapidamente, e os modelos de linguagem grandes (LLMs) estão na vanguarda dessa evolução. Este capítulo examina como os LLMs estão avançando no desenvolvimento de inteligência artificial semelhante à humana e transformando os setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário de IA Exercise 2: Definição de um LLM Exercise 3: LLMs no cenário de IA Exercise 4: Aplicativos de IA vs. LLM Exercise 5: Aplicativos do mundo real Exercise 6: Aplicativos de negócios Exercise 7: Aplicativos multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizagem com uma ou várias tarefas

Este capítulo enfatiza a inovação dos LLMs e seus recursos emergentes, ao mesmo tempo em que descreve várias técnicas de NLP para preparação de dados. Você aprenderá os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado N-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Solução de problemas com LLMs Exercise 3: Modelos tradicionais vs. LLMs Exercise 4: Visão geral do NLP Exercise 5: Preparação de dados

Exercício atual

Exercise 6: Pré-processamento e representação de texto Exercise 7: Incorporação de palavras em sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios na construção de LLMs Exercise 10: Adaptação de um modelo pré-treinado Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado N-shot

Neste capítulo, você aprenderá sobre os componentes fundamentais do treinamento do LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo discute uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Previsão da próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback Exercise 14: Construção de um LLM

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a disponibilidade de dados grandes, a qualidade dos dados, a rotulagem precisa e as implicações de dados tendenciosos. Você também examinará vários riscos do LLM, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo as áreas de pesquisa emergentes e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Não tendencioso e relevante Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar