Este capítulo apresenta LLMOps e a fase de ideação do desenvolvimento de aplicações com LLMs. Ele explica os fundamentos de LLMOps, destaca as etapas do ciclo de vida dos LLMs e aborda atividades-chave na fase de ideação, como obtenção de dados e a escolha entre LLMs open source e proprietários.

Visão geral de LLMOps

LLMOps versus MLOps

Relevância do LLMOps

Ciclo de vida dos LLMs

A finalidade das fases do ciclo de vida

O ciclo de vida da aplicação

Fase de ideação

Origem de dados

Modelos proprietários versus open-source

Selecionando o modelo base certo

Introdução a LLMOps e fase de ideação

Este capítulo foca na fase de desenvolvimento de aplicações com LLMs. Ele aborda prompt engineering, agentes e chains, técnicas de RAG versus fine-tuning e métodos de teste.

Prompt engineering

A importância do prompt engineering

Experimentando prompt engineering

Acompanhando os prompts

Cadeias e agentes

A diferença entre agentes e chains

Escolhendo a arquitetura certa

RAG versus fine-tuning

O fluxo de trabalho do RAG

Compare RAG com fine-tuning

Testes

Escolhendo a métrica certa

A importância dos testes

Fase de desenvolvimento

Este capítulo foca na fase operacional de implantação e gestão de aplicações com LLMs. Vamos abordar estratégias de implantação como CI/CD, técnicas de escalabilidade, práticas de monitoramento, estratégias de gestão de custos e considerações de governança e segurança. Dominar esses conceitos vai ajudar você a gerenciar aplicações com LLMs de forma eficiente em ambientes de produção.

Implantação

A necessidade de CI/CD

Opções

Escalabilidade horizontal

Escalabilidade vertical

A estratégia de escalabilidade certa

Monitoramento e observabilidade

Monitoramento de entrada

Monitoramento funcional

Monitoramento de saída

Monitorando seu aplicativo

Tratamento de alertas

Gerenciamento de custos

ChatGPT

Compressão de prompt

Fazendo um prognóstico de custos

Governança e segurança

Prompt injection

Data poisoning

Denial of service

Estratégias de mitigação

Integridade de dados e envenenamento

Parabéns

Fase operacional

Embarque em uma jornada pelo universo de operações com Large Language Models (LLMOps). Este curso, pensado para entusiastas e profissionais, guia você pelos fundamentos, da ideação até a implantação em produção.

Ao explorar o ciclo de vida de aplicações com LLMs, você entenderá seu papel essencial nas organizações. Você vai conhecer os desafios e pontos de atenção de cada etapa e como aprimorar o desenvolvimento e garantir uma implantação tranquila, com foco em governança de dados e segurança. Ao final do curso, você terá uma base sólida de conceitos de LLMOps e saberá como aplicá-los nas suas aplicações.

<h2> Uma introdução ao LLMOps </h2>

Embarque em uma jornada para operações de modelos de linguagem grandes (LLMOps). Este curso, criado tanto para entusiastas quanto para profissionais, orienta você nos conceitos básicos, desde a idealização até a implementação operacional.

<h2> Desbloquear o essencial </h2>

Comece sua exploração desvendando os fundamentos do LLMOps. Entenda seu papel fundamental nos cenários organizacionais e compreenda os principais conceitos de LLMs e LLMOps. O foco principal deste curso não é a construção de seu próprio LLM básico. Em vez disso, ele é voltado para o aproveitamento dos recursos de um modelo básico para aplicação na sua organização.

<h2> Navegue pelo ciclo de vida </h2>

Se você se aprofundar no ciclo de vida do aplicativo LLM, verá sua função fundamental nas organizações. Você obterá insights sobre os desafios e as considerações em cada estágio e como refinar o desenvolvimento e garantir uma implantação tranquila, ao mesmo tempo em que adota a governança e a segurança dos dados. 

Depois de concluir este curso, você não apenas terá uma sólida compreensão do LLMOps, mas também poderá aplicar esses conceitos com confiança em seu trabalho. Se você está apenas começando ou deseja aprofundar seu conhecimento, este curso aumentará suas habilidades e o guiará para dominar o LLMOps.

Large Language Models (LLMs) Concepts

Aprenda sobre LLMOps do conceito à implantação e como aplicar esses conceitos em suas aplicações.

Conceitos de LLMOps

Aprenda sobre LLMOps, desde a concepção até a implantação, conheça o ciclo de vida e os desafios e veja como aplicar esses conceitos às suas aplicações.

Associate AI Engineer para desenvolvedores

Desenvolvimento de modelos de idiomas grandes

Entre 17h e 18h há um aumento de tráfego de dez vezes para o seu modelo, que precisa ser absorvido

Você prevê que a base de usuários do modelo dobrará mensalmente neste ano, possivelmente além disso, então precisa garantir que a aplicação suporte esse crescimento

Para reforçar o caráter em tempo real da sua aplicação, você precisa melhorar o tempo de resposta de cada solicitação individual

Você percebe que, para algumas solicitações específicas, a aplicação fica sem memória, mesmo em períodos de baixo tráfego

A estratégia de escalabilidade certa

Conceitos de LLMOps

exercicio interativo prático