Ce premier chapitre explique pourquoi les entreprises doivent monitorer vos modèles de Machine Learning en production. Vous découvrirez le flux de travail idéal de monitoring et ses étapes, ainsi que certains défis auxquels les systèmes de monitoring font face en production.

Pourquoi vous devez surveiller votre modèle

Pourquoi les modèles échouent-ils ?

Les avantages des systèmes de monitoring

Le workflow idéal de monitoring

L’importance de suivre les KPI

Workflow de monitoring idéal

Workflow de monitoring dans un scénario réel

Défis de la surveillance des modèles de ML

Ground truth différé

Covariate shift vs concept drift

Qu’est-ce que le monitoring en ML

Dans le chapitre 2, vous verrez l’importance fondamentale du suivi des performances dans un système de monitoring fiable. Nous explorerons les défis courants rencontrés en production réelle, comme la disponibilité de la vérité terrain. À la fin du chapitre, vous saurez gérer les situations où ces données de vérité terrain sont retardées ou absentes, grâce à des algorithmes d’estimation des performances.

Surveiller directement la performance technique

Pourquoi commencer par la performance ?

Différents décalages de covariables

Disponibilité du ground truth

Faut-il estimer les performances ?

Options

Vrai

Faux

Suivi des performances en production

Estimation des performances

Points d’attention pour CBPE

Estimation des performances en production

CBPE

Algorithmes d’estimation de performance

Concepts théoriques du monitoring

Maintenant que vous connaissez les bases du covariate shift et du concept drift en production, allons un peu plus loin. À la fin de ce chapitre, vous connaîtrez les différentes façons de les détecter et de les gérer dans des scénarios réels.

Qu’est-ce que le covariate shift ?

Variables échangées

Méthode de détection de drift

Comment détecter un covariate shift

Changements subtils

Différentes méthodes

Qu’est-ce que la dérive de concept ?

Type de concept drift

Interaction entre concept drift et covariate shift

Comment gérer le concept drift ?

Adaptation en temps réel

Détection et résolution du concept drift

Récapitulatif

Détection du covariate shift et du concept drift

Pour assurer la réussite à long terme des modèles de Machine Learning, il est essentiel de savoir les monitorer efficacement en production. À mesure que le Machine Learning se généralise dans le monde de l’entreprise, la data science post-déploiement devient un domaine clé. Ce cours couvre tous les concepts essentiels liés au monitoring des systèmes de Machine Learning en production, afin de préserver la valeur métier, réduire le risque d’échec et accroître la visibilité.

<h2> Surveillance du machine learning</h2>
Les modèles d'apprentissage automatique influencent de plus en plus les décisions dans le monde réel. Ces modèles nécessitent une surveillance afin de prévenir les défaillances et de garantir qu'ils apportent une valeur ajoutée à votre entreprise. Ce cours vous présentera les concepts fondamentaux de la création d'un système de surveillance robuste pour vos modèles en production.
<br><br>
<h2>Découvrez le processus de surveillance idéal</h2>
Le cours commence par présenter un plan d'action indiquant par où commencer la surveillance en production et comment structurer les processus autour de celle-ci. Nous aborderons le processus de travail de base en vous montrant comment détecter les problèmes, identifier leurs causes profondes et les résoudre à l'aide d'exemples concrets.
<br><br>
<h2>Découvrez les défis liés à la surveillance des modèles en production</h2>
Le déploiement d'un modèle en production n'est que le début du cycle de vie du modèle. Même s'il fonctionne correctement pendant le développement, il peut échouer en raison de l'évolution constante des données de production. Dans ce cours, vous explorerez les difficultés liées au suivi des performances d'un modèle, en particulier lorsqu'il n'existe aucune vérité terrain.
<br><br>
<h2> Comprendre en détail le décalage des covariables et la dérive conceptuelle</h2>
La dernière partie de ce cours se concentrera sur deux types de défaillance silencieuse des modèles. Vous comprendrez en détail les différents types de changements de covariables et de dérive conceptuelle, leur influence sur les performances du modèle, ainsi que la manière de les détecter et de les prévenir.

MLOps Concepts

Supervised Learning with scikit-learn

Découvrez les défis de la surveillance des modèles ML en production, comme la dérive des données.

Concepts de monitoring en Machine Learning

Surveillez les modèles machine learning en production : dérive des données et des concepts, et méthodes pour limiter la dégradation du modèle.

Ingénieur en apprentissage automatique

L'apprentissage automatique en production en Python

Le suivi des performances est au cœur du flux de monitoring

La prédiction d’heure d’arrivée d’une voiture est un exemple où la vérité terrain est immédiatement disponible

La performance réalisée se calcule à partir de la vérité terrain

La tarification d’assurance est un exemple où la vérité terrain est immédiatement disponible

Les décalages proches de la frontière de décision n’ont pas d’impact négatif sur la performance

Si la vérité terrain est absente en production, alors le suivi des performances n’est pas nécessaire

Suivi des performances en production

Exercice interactif pratique