Nel primo capitolo vedrai perché le aziende hanno bisogno di monitorare i modelli di machine learning in produzione. Imparerai qual è il flusso di lavoro ideale per il monitoring e le fasi coinvolte, oltre ad alcune delle sfide che i sistemi di monitoring possono incontrare in produzione.

Perché devi monitorare il tuo modello

Perché i modelli falliscono?

I benefici dei sistemi di monitoraggio

Il flusso di lavoro ideale per il monitoring

L’importanza di monitorare le KPI

Workflow di monitoraggio ideale

Workflow di monitoraggio in uno scenario reale

Sfide del monitoraggio dei modelli di ML

Ground truth ritardata

Covariate shift vs concept drift

Che cos’è il ML Monitoring

Nel Capitolo 2 scoprirai l’importanza fondamentale del monitoraggio delle prestazioni in un sistema di monitoring affidabile. Esploreremo le sfide più comuni riscontrate negli ambienti di produzione reali, come la disponibilità della ground truth. Al termine del capitolo saprai gestire i casi in cui i dati di ground truth sono in ritardo o assenti, utilizzando algoritmi di stima delle prestazioni.

Monitorare direttamente le prestazioni tecniche

Perché partire dalle prestazioni?

Diversi tipi di covariate shift

Disponibilità del ground truth

È necessaria una stima delle prestazioni?

Monitoraggio delle prestazioni in produzione

Stima delle prestazioni

Considerazioni su CBPE

Stima delle prestazioni in produzione

Algoritmi per la stima delle prestazioni

Concetti teorici del monitoring

Ora che conosci le basi di covariate shift e concept drift in produzione, approfondiamo un po’ di più. Alla fine di questo capitolo conoscerai i diversi modi per rilevarli e gestirli in scenari reali.

Che cos'è il covariate shift?

Feature scambiate

Metodo di rilevamento del drift

Come rilevare il covariate shift

Cambiamenti sottili

Opzioni

Vero

Falso

Metodi diversi

Che cos'è il concept drift?

Tipo di concept drift

Interazione tra concept drift e covariate shift

Come gestire il concept drift?

Adattamento in tempo reale

Rilevamento e risoluzione del concept drift

Riepilogo

Rilevazione di covariate shift e concept drift

Per garantire il successo a lungo termine dei modelli di machine learning, è fondamentale sapere come monitorarli efficacemente in produzione. Man mano che il machine learning viene adottato sempre più nel mondo del business, la data science post-deployment sta diventando un’area importante. Questo corso copre tutti i concetti essenziali relativi al monitoring dei sistemi di machine learning in produzione, per mantenere il valore di business, ridurre il rischio di fallimenti e aumentare la visibilità.

<h2> Concetti di monitoraggio dell'apprendimento automatico</h2>
I modelli di apprendimento automatico influenzano sempre più decisioni nel mondo reale. Questi modelli devono essere monitorati per evitare che si rompano e per assicurarsi che diano un valore aggiunto alla tua azienda. Questo corso ti spiegherà i concetti base per creare un sistema di monitoraggio affidabile per i tuoi modelli in produzione.
<br><br>
<h2>Scopri il flusso di lavoro di monitoraggio perfetto</h2>
Il corso inizia con un piano su dove iniziare a monitorare la produzione e come organizzare i processi che ci girano intorno. Ti spiegheremo il flusso di lavoro di base, mostrandoti come individuare i problemi, capire cosa li causa e risolverli con esempi reali.
<br><br>
<h2>Scopri le sfide dei modelli di monitoraggio nella produzione</h2>
Mettere in funzione un modello è solo l'inizio del suo ciclo di vita. Anche se funziona bene durante lo sviluppo, può non funzionare a causa dei continui cambiamenti dei dati di produzione. In questo corso scoprirai quanto è difficile monitorare le prestazioni di un modello, soprattutto quando non c'è una verità oggettiva.
<br><br>
<h2> Capire bene lo spostamento delle covariate e la deriva concettuale</h2>
L'ultima parte di questo corso si concentrerà su due tipi di guasti silenziosi dei modelli. Capirai bene i diversi tipi di variazioni delle covariate e di deriva concettuale, come influenzano le prestazioni del modello e come individuarle e prevenirle.

MLOps Concepts

Supervised Learning with scikit-learn

Scopri le sfide del monitoraggio dei modelli ML in produzione e come affrontare il degrado del modello.

Concetti di Monitoring per il Machine Learning

Scopri le sfide nel monitorare i modelli di Machine Learning in produzione, tra cui drift dei dati e concetti, e come gestire il degrado del modello.

Ingegnere dell'apprendimento automatico

Apprendimento automatico in produzione in Python

Il metodo multivariato di rilevamento del drift misura i cambiamenti nella distribuzione congiunta per identificare un covariate shift

La distanza di Jensen-Shannon misura la similarità usando la divergenza KL

Il metodo di Kolmogorov-Smirnov può generare falsi positivi

Il test Chi-quadro e il metodo L-infinito funzionano sia per variabili continue sia per variabili categoriche

L'algoritmo PCA usato nel rilevamento del drift multivariato espande i dati in una dimensione superiore per un'analisi migliore

Metodi diversi

Concetti di Monitoring per il Machine Learning

esercizio interattivo pratico