This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

A importância do prompt engineering

ChatGPT

Experimentando prompt engineering

Acompanhando os prompts

Cadeias e agentes

Opções

Agente

Chain

A diferença entre agentes e chains

Escolhendo a arquitetura certa

RAG versus fine-tuning

LLM Chain

O fluxo de trabalho do RAG

Fine-tuning

Compare RAG com fine-tuning

Testes

Métrica tradicional de machine learning

Métricas de comparação de texto

Escolhendo a métrica certa

A importância dos testes

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

The need for CI/CD

The right scaling strategy

Monitoring and observability

Monitoring your application

Alert handling

Cost management

Prompt compression

Making a cost prognosis

Governance and security

Prompt injection

Mitigation strategies

Data integrity and poisoning

Congratulations

Operational Phase

Embarque em uma jornada pelo universo de operações com Large Language Models (LLMOps). Este curso, pensado para entusiastas e profissionais, guia você pelos fundamentos, da ideação até a implantação em produção.

Ao explorar o ciclo de vida de aplicações com LLMs, você entenderá seu papel essencial nas organizações. Você vai conhecer os desafios e pontos de atenção de cada etapa e como aprimorar o desenvolvimento e garantir uma implantação tranquila, com foco em governança de dados e segurança. Ao final do curso, você terá uma base sólida de conceitos de LLMOps e saberá como aplicá-los nas suas aplicações.

<h2> Uma introdução ao LLMOps </h2>

Embarque em uma jornada para operações de modelos de linguagem grandes (LLMOps). Este curso, criado tanto para entusiastas quanto para profissionais, orienta você nos conceitos básicos, desde a idealização até a implementação operacional.

<h2> Desbloquear o essencial </h2>

Comece sua exploração desvendando os fundamentos do LLMOps. Entenda seu papel fundamental nos cenários organizacionais e compreenda os principais conceitos de LLMs e LLMOps. O foco principal deste curso não é a construção de seu próprio LLM básico. Em vez disso, ele é voltado para o aproveitamento dos recursos de um modelo básico para aplicação na sua organização.

<h2> Navegue pelo ciclo de vida </h2>

Se você se aprofundar no ciclo de vida do aplicativo LLM, verá sua função fundamental nas organizações. Você obterá insights sobre os desafios e as considerações em cada estágio e como refinar o desenvolvimento e garantir uma implantação tranquila, ao mesmo tempo em que adota a governança e a segurança dos dados. 

Depois de concluir este curso, você não apenas terá uma sólida compreensão do LLMOps, mas também poderá aplicar esses conceitos com confiança em seu trabalho. Se você está apenas começando ou deseja aprofundar seu conhecimento, este curso aumentará suas habilidades e o guiará para dominar o LLMOps.

Large Language Models (LLMs) Concepts

Aprenda sobre LLMOps do conceito à implantação e como aplicar esses conceitos em suas aplicações.

Conceitos de LLMOps

Aprenda sobre LLMOps, desde a concepção até a implantação, conheça o ciclo de vida e os desafios e veja como aplicar esses conceitos às suas aplicações.

Associate AI Engineer para desenvolvedores

Desenvolvimento de modelos de idiomas grandes

Pesquisar no banco de dados vetorial usando a consulta embarcada e recuperar os principais resultados

Aumentar a consulta original com contexto adicional recuperado do banco de dados

Obter a resposta do LLM usando a consulta aumentada e devolvê-la ao usuário

O fluxo de trabalho do RAG

Conceitos de LLMOps

exercicio interativo prático