This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

Perché serve la CI/CD

Opzioni

Scaling orizzontale

Scaling verticale

La strategia di scaling giusta

Monitoraggio e osservabilità

Monitoraggio degli input

Monitoraggio funzionale

Monitoraggio degli output

Monitora la tua applicazione

Gestione degli alert

Gestione dei costi

Compressione dei prompt

Elaborare una previsione dei costi

Governance e sicurezza

Prompt injection

Data poisoning

Denial of service

Strategie di mitigazione

Integrità dei dati e avvelenamento

Congratulazioni

Operational Phase

Intraprendi un viaggio nel mondo delle Large Language Model Operations (LLMOps). Questo corso, pensato sia per appassionati sia per professionisti, ti guida dalle basi fino alla messa in produzione operativa.

Esplorando il ciclo di vita delle applicazioni LLM scoprirai il suo ruolo centrale nelle organizzazioni. Otterrai una panoramica delle sfide e delle considerazioni in ogni fase, imparando a perfezionare lo sviluppo e garantire un rilascio fluido, nel rispetto della governance dei dati e della sicurezza. Al termine del corso avrai una solida comprensione dei concetti di LLMOps e saprai come applicarli alle tue applicazioni.

<h2> Introduzione a ChatGPT </h2>

Parti per un viaggio nel mondo delle operazioni con modelli linguistici di grandi dimensioni (LLMOps). Questo corso, pensato sia per gli appassionati che per i professionisti, ti spiega le basi, dall'ideazione alla messa in pratica.

<h2> Scopri l'essenziale </h2>

Inizia la tua esplorazione scoprendo le basi di LLMOps. Capisci il suo ruolo fondamentale all'interno dei contesti organizzativi e impara i concetti chiave di LLM e LLMOps. L'obiettivo principale di questo corso non è quello di costruire il proprio LLM di base. Invece, punta a sfruttare le capacità di un modello di base da usare nella tua organizzazione.

<h2> Segui il ciclo di vita </h2>

Dando un'occhiata al ciclo di vita delle applicazioni LLM, si capisce quanto siano importanti per le aziende. Imparerai a conoscere le sfide e le cose da considerare in ogni fase e come migliorare lo sviluppo e garantire un'implementazione senza intoppi, senza dimenticare la governance e la sicurezza dei dati. 

Dopo aver finito questo corso, non solo capirai bene come funzionano le operazioni LLMOps, ma potrai anche usare questi concetti nel tuo lavoro con sicurezza. Che tu sia appena agli inizi o desideroso di approfondire le tue conoscenze, questo corso ti aiuterà a migliorare le tue competenze e ti guiderà verso la padronanza delle operazioni LLMOps.

Large Language Models (LLMs) Concepts

Scopri LLMOps: dall'idea al lancio, comprendi il ciclo di vita e applica i concetti alle tue app.

Concetti di LLMOps

Ingegnere AI associato per sviluppatori

Sviluppare modelli linguistici di grandi dimensioni

Tra le 17 e le 18 c'è un aumento di traffico di dieci volte verso il tuo modello che va gestito

Prevedi che la base utenti del modello raddoppi ogni mese quest'anno, e forse oltre; devi quindi assicurarti che l'applicazione regga questa crescita

Per rendere più real-time la tua applicazione, devi ridurre il tempo di risposta di ogni singola richiesta

Noti che per alcune richieste specifiche l'applicazione va in out of memory, anche in periodi di basso traffico

La strategia di scaling giusta

Concetti di LLMOps

Esercizio pratico interattivo