This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

L'importanza del prompt engineering

Mettere alla prova il prompt engineering

Tenere traccia dei prompt

Chain e agenti

Opzioni

Agent

Chain

La differenza tra agent e chain

Scegliere l’architettura giusta

RAG contro fine-tuning

Catena LLM

Il workflow RAG

Fine-tuning

Confronta RAG e fine-tuning

Test

Metrica tradizionale di machine learning

Metriche di confronto testuale

Scegliere la metrica giusta

L'importanza del testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

The need for CI/CD

The right scaling strategy

Monitoring and observability

Monitoring your application

Alert handling

Cost management

Prompt compression

Making a cost prognosis

Governance and security

Prompt injection

Mitigation strategies

Data integrity and poisoning

Congratulations

Operational Phase

Intraprendi un viaggio nel mondo delle Large Language Model Operations (LLMOps). Questo corso, pensato sia per appassionati sia per professionisti, ti guida dalle basi fino alla messa in produzione operativa.

Esplorando il ciclo di vita delle applicazioni LLM scoprirai il suo ruolo centrale nelle organizzazioni. Otterrai una panoramica delle sfide e delle considerazioni in ogni fase, imparando a perfezionare lo sviluppo e garantire un rilascio fluido, nel rispetto della governance dei dati e della sicurezza. Al termine del corso avrai una solida comprensione dei concetti di LLMOps e saprai come applicarli alle tue applicazioni.

<h2> Introduzione a ChatGPT </h2>

Parti per un viaggio nel mondo delle operazioni con modelli linguistici di grandi dimensioni (LLMOps). Questo corso, pensato sia per gli appassionati che per i professionisti, ti spiega le basi, dall'ideazione alla messa in pratica.

<h2> Scopri l'essenziale </h2>

Inizia la tua esplorazione scoprendo le basi di LLMOps. Capisci il suo ruolo fondamentale all'interno dei contesti organizzativi e impara i concetti chiave di LLM e LLMOps. L'obiettivo principale di questo corso non è quello di costruire il proprio LLM di base. Invece, punta a sfruttare le capacità di un modello di base da usare nella tua organizzazione.

<h2> Segui il ciclo di vita </h2>

Dando un'occhiata al ciclo di vita delle applicazioni LLM, si capisce quanto siano importanti per le aziende. Imparerai a conoscere le sfide e le cose da considerare in ogni fase e come migliorare lo sviluppo e garantire un'implementazione senza intoppi, senza dimenticare la governance e la sicurezza dei dati. 

Dopo aver finito questo corso, non solo capirai bene come funzionano le operazioni LLMOps, ma potrai anche usare questi concetti nel tuo lavoro con sicurezza. Che tu sia appena agli inizi o desideroso di approfondire le tue conoscenze, questo corso ti aiuterà a migliorare le tue competenze e ti guiderà verso la padronanza delle operazioni LLMOps.

Large Language Models (LLMs) Concepts

Scopri LLMOps: dall'idea al lancio, comprendi il ciclo di vita e applica i concetti alle tue app.

Concetti di LLMOps

Ingegnere AI associato per sviluppatori

Sviluppare modelli linguistici di grandi dimensioni

Un’applicazione LLM che predice le calorie dei piatti

Un’applicazione LLM che classifica se un messaggio in un forum è tossico o no

Un’applicazione LLM che risponde alle domande frequenti di un sito web

Un’applicazione LLM che riassume cronologie di chat

Scegliere la metrica giusta

Concetti di LLMOps

Esercizio pratico interattivo