This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Implantação

A necessidade de CI/CD

Opções

Escalabilidade horizontal

Escalabilidade vertical

A estratégia de escalabilidade certa

Monitoramento e observabilidade

Monitoramento de entrada

Monitoramento funcional

Monitoramento de saída

Monitorando seu aplicativo

Tratamento de alertas

Gerenciamento de custos

ChatGPT

Compressão de prompt

Fazendo um prognóstico de custos

Governança e segurança

Prompt injection

Data poisoning

Denial of service

Estratégias de mitigação

Integridade de dados e envenenamento

Parabéns

Operational Phase

Embarque em uma jornada pelo universo de operações com Large Language Models (LLMOps). Este curso, pensado para entusiastas e profissionais, guia você pelos fundamentos, da ideação até a implantação em produção.

Ao explorar o ciclo de vida de aplicações com LLMs, você entenderá seu papel essencial nas organizações. Você vai conhecer os desafios e pontos de atenção de cada etapa e como aprimorar o desenvolvimento e garantir uma implantação tranquila, com foco em governança de dados e segurança. Ao final do curso, você terá uma base sólida de conceitos de LLMOps e saberá como aplicá-los nas suas aplicações.

<h2> Uma introdução ao LLMOps </h2>

Embarque em uma jornada para operações de modelos de linguagem grandes (LLMOps). Este curso, criado tanto para entusiastas quanto para profissionais, orienta você nos conceitos básicos, desde a idealização até a implementação operacional.

<h2> Desbloquear o essencial </h2>

Comece sua exploração desvendando os fundamentos do LLMOps. Entenda seu papel fundamental nos cenários organizacionais e compreenda os principais conceitos de LLMs e LLMOps. O foco principal deste curso não é a construção de seu próprio LLM básico. Em vez disso, ele é voltado para o aproveitamento dos recursos de um modelo básico para aplicação na sua organização.

<h2> Navegue pelo ciclo de vida </h2>

Se você se aprofundar no ciclo de vida do aplicativo LLM, verá sua função fundamental nas organizações. Você obterá insights sobre os desafios e as considerações em cada estágio e como refinar o desenvolvimento e garantir uma implantação tranquila, ao mesmo tempo em que adota a governança e a segurança dos dados. 

Depois de concluir este curso, você não apenas terá uma sólida compreensão do LLMOps, mas também poderá aplicar esses conceitos com confiança em seu trabalho. Se você está apenas começando ou deseja aprofundar seu conhecimento, este curso aumentará suas habilidades e o guiará para dominar o LLMOps.

Large Language Models (LLMs) Concepts

Aprenda sobre LLMOps do conceito à implantação e como aplicar esses conceitos em suas aplicações.

Conceitos de LLMOps

Aprenda sobre LLMOps, desde a concepção até a implantação, conheça o ciclo de vida e os desafios e veja como aplicar esses conceitos às suas aplicações.

Associate AI Engineer para desenvolvedores

Desenvolvimento de modelos de idiomas grandes

Integridade de dados e envenenamento

Conceitos de LLMOps

exercicio interativo prático