The first chapter will explain why businesses need to monitor your machine  learning models in production. You will learn about the ideal monitoring  workflow and the steps involved, as well as some of the challenges that  monitoring systems can face in production.

Why you need to monitor your model

Why models fail?

The benefits of monitoring systems

The ideal monitoring workflow

The importance of monitoring KPIs

Ideal monitoring workflow

Monitoring workflow in real-life scenario

Challenges of monitoring ML models

Delayed ground truth

Covariate shift vs concept drift

What is ML Monitoring 

In Chapter 2, you'll discover the fundamental importance of performance  monitoring in a reliable monitoring system. We'll explore the common challenges faced in real-world production environments, such as the availability of ground truth. By the end of the chapter, you'll know how to handle situations when ground truth data is delayed or absent , using performance estimation algorithms.

Monitoring technical performance directly

Why performance first?

Different covariate shifts

Availability of ground truth

Is performance estimation required?

Performance monitoring in production

Performance estimation

CBPE considerations

Performance estimation in production

Algorithms for performance estimation

Theoretical Concepts of monitoring 

Now that you know the basics of covariate shift and concept drift in production, let''s dive a little bit deeper. At the end of this chapter, you will know the different ways to detect and handle them in real-world scenarios.

Che cos'è il covariate shift?

Feature scambiate

Metodo di rilevamento del drift

Come rilevare il covariate shift

Cambiamenti sottili

Opzioni

Vero

Falso

Metodi diversi

Che cos'è il concept drift?

Tipo di concept drift

Interazione tra concept drift e covariate shift

Come gestire il concept drift?

Adattamento in tempo reale

Rilevamento e risoluzione del concept drift

Riepilogo

Covariate Shift and Concept Drift Detection

Per garantire il successo a lungo termine dei modelli di machine learning, è fondamentale sapere come monitorarli efficacemente in produzione. Man mano che il machine learning viene adottato sempre più nel mondo del business, la data science post-deployment sta diventando un’area importante. Questo corso copre tutti i concetti essenziali relativi al monitoring dei sistemi di machine learning in produzione, per mantenere il valore di business, ridurre il rischio di fallimenti e aumentare la visibilità.

<h2> Concetti di monitoraggio dell'apprendimento automatico</h2>
I modelli di apprendimento automatico influenzano sempre più decisioni nel mondo reale. Questi modelli devono essere monitorati per evitare che si rompano e per assicurarsi che diano un valore aggiunto alla tua azienda. Questo corso ti spiegherà i concetti base per creare un sistema di monitoraggio affidabile per i tuoi modelli in produzione.
<br><br>
<h2>Scopri il flusso di lavoro di monitoraggio perfetto</h2>
Il corso inizia con un piano su dove iniziare a monitorare la produzione e come organizzare i processi che ci girano intorno. Ti spiegheremo il flusso di lavoro di base, mostrandoti come individuare i problemi, capire cosa li causa e risolverli con esempi reali.
<br><br>
<h2>Scopri le sfide dei modelli di monitoraggio nella produzione</h2>
Mettere in funzione un modello è solo l'inizio del suo ciclo di vita. Anche se funziona bene durante lo sviluppo, può non funzionare a causa dei continui cambiamenti dei dati di produzione. In questo corso scoprirai quanto è difficile monitorare le prestazioni di un modello, soprattutto quando non c'è una verità oggettiva.
<br><br>
<h2> Capire bene lo spostamento delle covariate e la deriva concettuale</h2>
L'ultima parte di questo corso si concentrerà su due tipi di guasti silenziosi dei modelli. Capirai bene i diversi tipi di variazioni delle covariate e di deriva concettuale, come influenzano le prestazioni del modello e come individuarle e prevenirle.

MLOps Concepts

Supervised Learning with scikit-learn

Scopri le sfide del monitoraggio dei modelli ML in produzione e come affrontare il degrado del modello.

Concetti di Monitoring per il Machine Learning

Ingegnere dell'apprendimento automatico

Apprendimento automatico in produzione in Python

Il riaddestramento del modello è una soluzione costosa per gestire il concept drift in modelli di grandi dimensioni e con big data

Il riaddestramento periodico consente di mantenere il modello aggiornato con i pattern più recenti

Il concept drift ricorrente può verificarsi durante eventi come il Black Friday o il Natale

L'Online Learning è sensibile ai dati rumorosi, il che può portare a un miglioramento del modello

I metodi basati sull'errore non richiedono ground truth

Rilevare il concept drift usando un nuovo modello addestrato su dati di test e di produzione è una soluzione economica

Rilevamento e risoluzione del concept drift

Concetti di Monitoring per il Machine Learning

Esercizio pratico interattivo