This chapter gives a high-level overview of MLOps principles and framework components important for deployment and life cycling.

The modern MLOps framework

ML workflows

MLOps benefits

Life-cycling stages

App vs. model

Decommissioning

The model life cycle: recap

MLOps components

Automated sequence

Stores and registries

DevOps or MLOps?

MLOps in a Nutshell

This chapter is dedicated to all the considerations we need to make already in the development phase, in order to ensure a smooth ride when we reach the operations.

Our ultimate goal is to explain how to train the model using MLOps best practices and build a model package that enables smooth deployment, reproducibility and post-deployment monitoring.

Deployment-driven development

Testing your machine learning model

Best time to start deploying

Profiling, versioning, and feature stores

Feature store properties

Profiling and feature store benefits

Ensuring reproducibility

Model build pipelines in CI/CD

Different pipelines

Model build pipeline properties

CI/CD integration

Model packaging

Model formats

Full package

Develop for Deployment

This chapter deals with critical model operations questions such as:
- What are the different ways in which we can serve our models?
- What is an API, and what are its key functionalities?
- How do we thoroughly test our service before making it available to the end users?
- How do we update models in production without service disturbance?

You will learn about batch prediction, real-time prediction, input and output data validation, unit testing, integration testing, canary deployment, and much more.

Serving modes

Offline or online?

When time matters - a bit

Building the API

Client-server

API functionalities

Deployment progression and testing

Which test is it?

Progression through environments

Tests per environment

Model deployment strategies

A fitting deployment strategy

Order of risk

Shadow of the shadow

Deploy and Run

This final chapter is dedicated to monitoring and maintaining ML services after they are deployed, as well as to model governance.

You will cover crucial concepts such as verification latency, covariate shift, concept drift, human-in-the-loop systems, and more.


Monitorare i servizi di ML

Opzioni

Vero

Falso

Shift vs drift

Latenza

Già?

Monitoraggio e avvisi

Il sistema di monitoraggio

Alerting

Manutenzione del modello

Approccio data-centric

Approccio model-centric

Data-centric vs Model-centric

Human-in-the-Loop

Governance del modello

Nel perimetro della model governance

Fuori dal perimetro della model governance

Elementi della governance

Progettazione

Sviluppo

Operazioni

Fasi della governance

Classificazione del rischio

Riepilogo

Monitor and Maintain

Esplora il moderno framework MLOps, inclusi il ciclo di vita e il deployment dei modelli di Machine Learning. In questo corso imparerai a scrivere codice ML che riduce il debito tecnico, a scoprire gli strumenti necessari per distribuire e monitorare i tuoi modelli e ad approfondire i diversi tipi di ambienti e le analitiche che incontrerai.

Dopo aver raccolto, preparato ed etichettato i dati, eseguito numerosi esperimenti su modelli diversi e validato il concetto con un modello campione, è il momento dei passaggi successivi. Build. Deploy. Monitor. Maintain. Questo è il ciclo di vita del tuo modello quando è destinato alla produzione. È la parte Ops di MLOps.

Questo corso ti mostrerà come affrontare il secondo capitolo del percorso del tuo modello verso la creazione di valore, fissando il benchmark per molti altri a venire.

<h2>Implementazione e ciclo di vita MLOps</h2>

Scopri il moderno framework MLOps, compreso il ciclo di vita e l'implementazione dei modelli di machine learning. In questo corso imparerai a scrivere codice ML che riduce al minimo il debito tecnico, scoprirai gli strumenti necessari per implementare e monitorare i tuoi modelli ed esaminerai i diversi tipi di ambienti e analisi che incontrerai.

<h2>Scopri il ciclo di vita MLOps</h2>
Dopo aver raccolto, preparato ed etichettato i tuoi dati, aver fatto un sacco di esperimenti su diversi modelli e aver dimostrato che la tua idea funziona con un modello vincente, è ora di passare alle fasi successive. Costruire Distribuisci. Monitorare. Mantenere. Questo è il ciclo di vita del tuo modello una volta che è pronto per la produzione. Questa è la parte Ops di MLOps.

Questo corso ti mostrerà come affrontare la seconda fase del percorso del tuo modello verso la creazione di valore, stabilendo uno standard di riferimento per molti altri che seguiranno. Inizierai esplorando il ciclo di vita di MLOps, scoprendo quanto sia importante MLOps e quali sono le parti fondamentali per sviluppare, implementare, monitorare e mantenere i modelli.
<h2>Sviluppare codice ML per la distribuzione</h2>
Poi, imparerai come creare modelli da usare e come scrivere codice ML che funzioni, usare gli strumenti e addestrare le pipeline ML. Man mano che vai avanti, imparerai come distribuire i tuoi modelli, scoprendo diversi ambienti di distribuzione e quando usarli. Svilupperai anche strategie per sostituire i modelli di produzione attuali e darai un'occhiata alle API.
<h2>Scopri come tenere d'occhio i tuoi modelli</h2>
Finendo il corso, scoprirai le metriche di performance fondamentali per monitorare e mantenere i tuoi modelli ML. Imparerai a monitorare la deriva nella produzione, oltre a cose come il feedback dei modelli, gli aggiornamenti e la governance.

Quando avrai finito, capirai come usare il ciclo di vita MLOps per mettere in produzione i tuoi modelli.


MLOps Concepts

In questo corso esplorerai il framework MLOps moderno, il ciclo di vita e il deployment dei modelli ML.

Deployment e ciclo di vita in MLOps

In questo corso scoprirai il moderno framework MLOps, esplorando il ciclo di vita e l'implementazione dei modelli di machine learning. 

Ingegnere dell'apprendimento automatico

Fondamenti di MLOps

Monitorare i dati di input è sufficiente per rilevare il covariate shift

Il concept drift può essere confermato solo usando la ground truth

Il concept drift è una misura di quanto il processo reale modellato sia cambiato da quando abbiamo addestrato il modello

Se viene rilevato il covariate shift, è certo che si sia verificato anche il concept drift

Se non c’è covariate shift, non può esserci concept drift

I modelli peggiorano iniziando a produrre output diversi per gli stessi dati di input

Shift vs drift

Deployment e ciclo di vita in MLOps

Esercizio pratico interattivo