This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Panoramica di LLMOps

Opzioni

LLMOps

MLOps

LLMOps versus MLOps

Rilevanza di LLMOps

Ciclo di vita degli LLM

Lo scopo delle fasi del ciclo di vita

Fase di ideazione

Fase di sviluppo

Fase operativa

Il ciclo di vita dell’applicazione

Reperimento dei dati

Proprietario

Open-source

Modelli proprietari vs open-source

Selezionare il modello di base giusto

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

The need for CI/CD

The right scaling strategy

Monitoring and observability

Monitoring your application

Alert handling

Cost management

Prompt compression

Making a cost prognosis

Governance and security

Prompt injection

Mitigation strategies

Data integrity and poisoning

Congratulations

Operational Phase

Intraprendi un viaggio nel mondo delle Large Language Model Operations (LLMOps). Questo corso, pensato sia per appassionati sia per professionisti, ti guida dalle basi fino alla messa in produzione operativa.

Esplorando il ciclo di vita delle applicazioni LLM scoprirai il suo ruolo centrale nelle organizzazioni. Otterrai una panoramica delle sfide e delle considerazioni in ogni fase, imparando a perfezionare lo sviluppo e garantire un rilascio fluido, nel rispetto della governance dei dati e della sicurezza. Al termine del corso avrai una solida comprensione dei concetti di LLMOps e saprai come applicarli alle tue applicazioni.

<h2> Introduzione a ChatGPT </h2>

Parti per un viaggio nel mondo delle operazioni con modelli linguistici di grandi dimensioni (LLMOps). Questo corso, pensato sia per gli appassionati che per i professionisti, ti spiega le basi, dall'ideazione alla messa in pratica.

<h2> Scopri l'essenziale </h2>

Inizia la tua esplorazione scoprendo le basi di LLMOps. Capisci il suo ruolo fondamentale all'interno dei contesti organizzativi e impara i concetti chiave di LLM e LLMOps. L'obiettivo principale di questo corso non è quello di costruire il proprio LLM di base. Invece, punta a sfruttare le capacità di un modello di base da usare nella tua organizzazione.

<h2> Segui il ciclo di vita </h2>

Dando un'occhiata al ciclo di vita delle applicazioni LLM, si capisce quanto siano importanti per le aziende. Imparerai a conoscere le sfide e le cose da considerare in ogni fase e come migliorare lo sviluppo e garantire un'implementazione senza intoppi, senza dimenticare la governance e la sicurezza dei dati. 

Dopo aver finito questo corso, non solo capirai bene come funzionano le operazioni LLMOps, ma potrai anche usare questi concetti nel tuo lavoro con sicurezza. Che tu sia appena agli inizi o desideroso di approfondire le tue conoscenze, questo corso ti aiuterà a migliorare le tue competenze e ti guiderà verso la padronanza delle operazioni LLMOps.

Large Language Models (LLMs) Concepts

Scopri LLMOps: dall'idea al lancio, comprendi il ciclo di vita e applica i concetti alle tue app.

Concetti di LLMOps

Ingegnere AI associato per sviluppatori

Sviluppare modelli linguistici di grandi dimensioni

Modelli con elevata imprevedibilità dovuta a dimensioni e complessità

Modelli generalisti in grado di gestire un’ampia gamma di task e domini

Uso di prompt engineering e fine-tuning per migliorare le prestazioni del modello

Gestione di modelli leggeri specifici per il task

Uso di architetture di modello su misura per specifiche caratteristiche dei dati e task

LLMOps versus MLOps

Concetti di LLMOps

Esercizio pratico interattivo