The first chapter will explain why businesses need to monitor your machine  learning models in production. You will learn about the ideal monitoring  workflow and the steps involved, as well as some of the challenges that  monitoring systems can face in production.

Why you need to monitor your model

Why models fail?

The benefits of monitoring systems

The ideal monitoring workflow

The importance of monitoring KPIs

Ideal monitoring workflow

Monitoring workflow in real-life scenario

Challenges of monitoring ML models

Delayed ground truth

Covariate shift vs concept drift

What is ML Monitoring 

In Chapter 2, you'll discover the fundamental importance of performance  monitoring in a reliable monitoring system. We'll explore the common challenges faced in real-world production environments, such as the availability of ground truth. By the end of the chapter, you'll know how to handle situations when ground truth data is delayed or absent , using performance estimation algorithms.

Surveiller directement la performance technique

Pourquoi commencer par la performance ?

Différents décalages de covariables

Disponibilité du ground truth

Faut-il estimer les performances ?

Options

Vrai

Faux

Suivi des performances en production

Estimation des performances

Points d’attention pour CBPE

Estimation des performances en production

CBPE

Algorithmes d’estimation de performance

Theoretical Concepts of monitoring 

Now that you know the basics of covariate shift and concept drift in production, let''s dive a little bit deeper. At the end of this chapter, you will know the different ways to detect and handle them in real-world scenarios.

What is covariate shift?

Swapped features

Drift detection method

How to detect covariate shift

Subtle changes

Different methods

What is concept drift?

Type of concept drift

Concept drift and covariate shift interaction

How to handle concept drift?

Real-time adaptation

Concept drift detection and resolution

Wrap-up

Covariate Shift and Concept Drift Detection

Pour assurer la réussite à long terme des modèles de Machine Learning, il est essentiel de savoir les monitorer efficacement en production. À mesure que le Machine Learning se généralise dans le monde de l’entreprise, la data science post-déploiement devient un domaine clé. Ce cours couvre tous les concepts essentiels liés au monitoring des systèmes de Machine Learning en production, afin de préserver la valeur métier, réduire le risque d’échec et accroître la visibilité.

<h2> Surveillance du machine learning</h2>
Les modèles d'apprentissage automatique influencent de plus en plus les décisions dans le monde réel. Ces modèles nécessitent une surveillance afin de prévenir les défaillances et de garantir qu'ils apportent une valeur ajoutée à votre entreprise. Ce cours vous présentera les concepts fondamentaux de la création d'un système de surveillance robuste pour vos modèles en production.
<br><br>
<h2>Découvrez le processus de surveillance idéal</h2>
Le cours commence par présenter un plan d'action indiquant par où commencer la surveillance en production et comment structurer les processus autour de celle-ci. Nous aborderons le processus de travail de base en vous montrant comment détecter les problèmes, identifier leurs causes profondes et les résoudre à l'aide d'exemples concrets.
<br><br>
<h2>Découvrez les défis liés à la surveillance des modèles en production</h2>
Le déploiement d'un modèle en production n'est que le début du cycle de vie du modèle. Même s'il fonctionne correctement pendant le développement, il peut échouer en raison de l'évolution constante des données de production. Dans ce cours, vous explorerez les difficultés liées au suivi des performances d'un modèle, en particulier lorsqu'il n'existe aucune vérité terrain.
<br><br>
<h2> Comprendre en détail le décalage des covariables et la dérive conceptuelle</h2>
La dernière partie de ce cours se concentrera sur deux types de défaillance silencieuse des modèles. Vous comprendrez en détail les différents types de changements de covariables et de dérive conceptuelle, leur influence sur les performances du modèle, ainsi que la manière de les détecter et de les prévenir.

MLOps Concepts

Supervised Learning with scikit-learn

Découvrez les défis de la surveillance des modèles ML en production, comme la dérive des données.

Concepts de monitoring en Machine Learning

Surveillez les modèles machine learning en production : dérive des données et des concepts, et méthodes pour limiter la dégradation du modèle.

Ingénieur en apprentissage automatique

L'apprentissage automatique en production en Python

Pourquoi commencer par la performance ?

Exercice interactif pratique