Este capítulo apresenta uma introdução ao LLMOps e à fase de ideação do desenvolvimento do aplicativo LLM. Ele explica os conceitos básicos do LLMOps, destaca os estágios do ciclo de vida do LLMs e aborda as principais atividades na fase de ideação, como o fornecimento de dados e a seleção entre LLMs de código aberto e proprietário.

Visão geral do site LLMOps

LLMOps versus MLOps

Relevância de LLMOps

Ciclo de vida de LLMs

O objetivo das fases do ciclo de vida

O ciclo de vida do aplicativo

Fase de ideação

Fornecimento de dados

Modelos proprietários versus modelos de código aberto

Selecionando o modelo básico correto

Introdução ao LLMOps e à fase de ideação

Este capítulo se concentra na fase de desenvolvimento da criação do aplicativo LLM. Ele aborda a engenharia imediata, agentes e cadeias, RAG versus técnicas de ajuste fino e métodos de teste. 

Engenharia imediata

A importância da engenharia imediata

Experimentando a engenharia imediata

Manter o controle dos prompts

Cadeias e agentes

A diferença entre agentes e cadeias

Escolhendo a arquitetura correta

RAG versus ajuste fino

O fluxo de trabalho do RAG

Compare RAG com o ajuste fino

Testes

Escolhendo a métrica correta

A importância dos testes

Fase de desenvolvimento

Este capítulo se concentra na fase operacional da implementação e do gerenciamento do aplicativo LLM. Abordaremos estratégias de implantação como CI/CD, técnicas de dimensionamento, práticas de monitoramento, estratégias de gerenciamento de custos e considerações sobre governança e segurança. O domínio desses conceitos ajudará você a gerenciar com eficiência os aplicativos LLM em ambientes operacionais.

Implantação

A necessidade de CI/CD

Opções

Dimensionamento horizontal

Dimensionamento vertical

A estratégia de dimensionamento correta

Monitoramento e observabilidade

Monitoramento de entrada

Monitoramento funcional

Monitoramento de saída

Monitoramento do seu aplicativo

Tratamento de alertas

Gerenciamento de custos

Compressão imediata

Fazendo um prognóstico de custos

Governança e segurança

Injeção imediata

Envenenamento de dados

Negação de serviço

Estratégias de mitigação

Integridade e envenenamento de dados

Parabéns a você

Fase operacional

Embarque em uma jornada para operações com modelos de idiomas grandes (LLMOps). Este curso, criado tanto para entusiastas quanto para profissionais, orienta você nos conceitos básicos, desde a idealização até a implementação operacional.

Se você se aprofundar no ciclo de vida do aplicativo LLM, verá sua função fundamental nas organizações. Você obterá insights sobre os desafios e as considerações em cada estágio e como refinar o desenvolvimento e garantir uma implantação tranquila, ao mesmo tempo em que adota a governança e a segurança dos dados. Ao final do curso, você terá uma sólida compreensão dos conceitos de LLMOps e saberá como aplicá-los aos seus aplicativos.

<h2> Uma introdução ao LLMOps </h2>

Embarque em uma jornada para operações de modelos de linguagem grandes (LLMOps). Este curso, criado tanto para entusiastas quanto para profissionais, orienta você nos conceitos básicos, desde a idealização até a implementação operacional.

<h2> Desbloquear o essencial </h2>

Comece sua exploração desvendando os fundamentos do LLMOps. Entenda seu papel fundamental nos cenários organizacionais e compreenda os principais conceitos de LLMs e LLMOps. O foco principal deste curso não é a construção de seu próprio LLM básico. Em vez disso, ele é voltado para o aproveitamento dos recursos de um modelo básico para aplicação na sua organização.

<h2> Navegue pelo ciclo de vida </h2>

Se você se aprofundar no ciclo de vida do aplicativo LLM, verá sua função fundamental nas organizações. Você obterá insights sobre os desafios e as considerações em cada estágio e como refinar o desenvolvimento e garantir uma implantação tranquila, ao mesmo tempo em que adota a governança e a segurança dos dados. 

Depois de concluir este curso, você não apenas terá uma sólida compreensão do LLMOps, mas também poderá aplicar esses conceitos com confiança em seu trabalho. Se você está apenas começando ou deseja aprofundar seu conhecimento, este curso aumentará suas habilidades e o guiará para dominar o LLMOps.

Large Language Models (LLMs) Concepts

Aprenda sobre LLMOps do conceito à implantação e como aplicar esses conceitos em suas aplicações.

LLMOps Conceitos

Aprenda sobre LLMOps, do conceito à implantação, e como aplicar esses conceitos em suas aplicações.

Engenheiro associado de IA para desenvolvedores

Desenvolvimento de modelos de idiomas grandes

Entre as 17h e as 18h, há um aumento de dez vezes no tráfego do seu modelo, que precisa ser levado em conta

Você prevê que a base de usuários do modelo dobrará mensalmente este ano, possivelmente mais do que isso, portanto, você deve garantir que o aplicativo possa lidar com esse crescimento

Para aprimorar a natureza em tempo real do seu aplicativo, você deve aumentar o tempo de resposta de cada solicitação individual

Você percebe que, para algumas solicitações específicas, o aplicativo fica sem memória, mesmo durante períodos de baixo tráfego

A estratégia de dimensionamento correta

LLMOps Conceitos

Exercício interativo prático