Questo capitolo introduce LLMOps e la fase di ideazione nello sviluppo di applicazioni LLM. Spiega le basi di LLMOps, evidenzia le fasi del ciclo di vita degli LLM e tratta le attività chiave dell’ideazione, come l’approvvigionamento dei dati e la scelta tra LLM open-source e proprietari.

Panoramica di LLMOps

LLMOps versus MLOps

Rilevanza di LLMOps

Ciclo di vita degli LLM

Lo scopo delle fasi del ciclo di vita

Il ciclo di vita dell’applicazione

Fase di ideazione

Reperimento dei dati

Modelli proprietari vs open-source

Selezionare il modello di base giusto

Introduzione a LLMOps e fase di ideazione

Questo capitolo è incentrato sulla fase di sviluppo delle applicazioni LLM. Copre la prompt engineering, agenti e catene, le tecniche RAG rispetto al fine-tuning e i metodi di testing. 

Prompt engineering

L'importanza del prompt engineering

Mettere alla prova il prompt engineering

Tenere traccia dei prompt

Chain e agenti

La differenza tra agent e chain

Scegliere l’architettura giusta

RAG contro fine-tuning

Il workflow RAG

Confronta RAG e fine-tuning

Test

Scegliere la metrica giusta

L'importanza del testing

Fase di sviluppo

Questo capitolo è dedicato alla fase operativa di distribuzione e gestione delle applicazioni LLM. Tratteremo strategie di deployment come CI/CD, tecniche di scaling, pratiche di monitoraggio, strategie di gestione dei costi e aspetti di governance e sicurezza. Padroneggiare questi concetti ti aiuterà a gestire in modo efficiente le applicazioni LLM negli ambienti operativi.

Deployment

Perché serve la CI/CD

Opzioni

Scaling orizzontale

Scaling verticale

La strategia di scaling giusta

Monitoraggio e osservabilità

Monitoraggio degli input

Monitoraggio funzionale

Monitoraggio degli output

Monitora la tua applicazione

Gestione degli alert

Gestione dei costi

ChatGPT

Compressione dei prompt

Elaborare una previsione dei costi

Governance e sicurezza

Prompt injection

Data poisoning

Denial of service

Strategie di mitigazione

Integrità dei dati e avvelenamento

Congratulazioni

Fase operativa

Intraprendi un viaggio nel mondo delle Large Language Model Operations (LLMOps). Questo corso, pensato sia per appassionati sia per professionisti, ti guida dalle basi fino alla messa in produzione operativa.

Esplorando il ciclo di vita delle applicazioni LLM scoprirai il suo ruolo centrale nelle organizzazioni. Otterrai una panoramica delle sfide e delle considerazioni in ogni fase, imparando a perfezionare lo sviluppo e garantire un rilascio fluido, nel rispetto della governance dei dati e della sicurezza. Al termine del corso avrai una solida comprensione dei concetti di LLMOps e saprai come applicarli alle tue applicazioni.

<h2> Introduzione a ChatGPT </h2>

Parti per un viaggio nel mondo delle operazioni con modelli linguistici di grandi dimensioni (LLMOps). Questo corso, pensato sia per gli appassionati che per i professionisti, ti spiega le basi, dall'ideazione alla messa in pratica.

<h2> Scopri l'essenziale </h2>

Inizia la tua esplorazione scoprendo le basi di LLMOps. Capisci il suo ruolo fondamentale all'interno dei contesti organizzativi e impara i concetti chiave di LLM e LLMOps. L'obiettivo principale di questo corso non è quello di costruire il proprio LLM di base. Invece, punta a sfruttare le capacità di un modello di base da usare nella tua organizzazione.

<h2> Segui il ciclo di vita </h2>

Dando un'occhiata al ciclo di vita delle applicazioni LLM, si capisce quanto siano importanti per le aziende. Imparerai a conoscere le sfide e le cose da considerare in ogni fase e come migliorare lo sviluppo e garantire un'implementazione senza intoppi, senza dimenticare la governance e la sicurezza dei dati. 

Dopo aver finito questo corso, non solo capirai bene come funzionano le operazioni LLMOps, ma potrai anche usare questi concetti nel tuo lavoro con sicurezza. Che tu sia appena agli inizi o desideroso di approfondire le tue conoscenze, questo corso ti aiuterà a migliorare le tue competenze e ti guiderà verso la padronanza delle operazioni LLMOps.

Large Language Models (LLMs) Concepts

Scopri LLMOps: dall'idea al lancio, comprendi il ciclo di vita e applica i concetti alle tue app.

Concetti di LLMOps

Ingegnere AI associato per sviluppatori

Sviluppare modelli linguistici di grandi dimensioni

Tra le 17 e le 18 c'è un aumento di traffico di dieci volte verso il tuo modello che va gestito

Prevedi che la base utenti del modello raddoppi ogni mese quest'anno, e forse oltre; devi quindi assicurarti che l'applicazione regga questa crescita

Per rendere più real-time la tua applicazione, devi ridurre il tempo di risposta di ogni singola richiesta

Noti che per alcune richieste specifiche l'applicazione va in out of memory, anche in periodi di basso traffico

La strategia di scaling giusta

Concetti di LLMOps

esercizio interattivo pratico