Ce premier chapitre explique pourquoi les entreprises doivent surveiller vos modèles de Machine Learning en production. Vous verrez le flux de travail idéal de surveillance et ses étapes, ainsi que certains des défis que les systèmes de surveillance peuvent rencontrer en production.

Pourquoi vous devez surveiller votre modèle

Pourquoi les modèles échouent-ils?

Les avantages des systèmes de suivi

Le flux de travail de surveillance idéal

L'importance de surveiller les KPI

Flux de travail de surveillance idéal

Flux de surveillance dans un scénario réel

Défis liés à la surveillance des modèles de ML

Vérité terrain différée

Covariate shift vs concept drift

Qu'est-ce que la surveillance en ML

Dans le chapitre 2, vous découvrirez l'importance fondamentale du suivi de la performance dans un système de surveillance fiable. Nous examinerons les défis courants rencontrés dans des environnements de production réels, comme la disponibilité de la vérité terrain. À la fin du chapitre, vous saurez comment gérer les situations où les données de vérité terrain sont retardées ou absentes, au moyen d'algorithmes d'estimation de la performance.

Surveiller directement la performance technique

Pourquoi la performance d'abord?

Différents décalages de covariables

Disponibilité de la vérité terrain

Faut-il estimer la performance?

Surveillance de la performance en production

Estimation de la performance

Points à considérer pour le CBPE

Estimation de la performance en production

Algorithmes d'estimation de la performance

Concepts théoriques de la surveillance

Maintenant que vous connaissez les bases du décalage des covariables et de la dérive de concept en production, allons un peu plus loin. À la fin de ce chapitre, vous connaîtrez les différentes façons de les détecter et de les traiter dans des scénarios réels.

Qu'est-ce que le covariate shift ?

Caractéristiques échangées

Méthode de détection de dérive

Comment détecter un décalage des covariables

Changements subtils

Options

Vrai

Faux

Différentes méthodes

Qu'est-ce que le concept drift ?

Type de dérive de concept

Interaction entre la concept drift et le covariate shift

Comment gérer le concept drift?

Adaptation en temps réel

Détection et résolution de la dérive de concept

En résumé

Détection du décalage des covariables et de la dérive de concept

Pour assurer la réussite à long terme des modèles de Machine Learning, il est essentiel de savoir comment les surveiller efficacement en production. À mesure que le Machine Learning se généralise dans le monde des affaires, la science des données après déploiement devient un domaine important. Ce cours couvre tous les concepts essentiels liés à la surveillance des systèmes de Machine Learning en production, afin de maintenir la valeur d'affaires, réduire le risque d'échec et accroître la visibilité.

<h2> Concepts de surveillance de l’apprentissage automatique</h2>
Les modèles d’apprentissage automatique influencent de plus en plus de décisions dans le monde réel. Ces modèles doivent être surveillés afin de prévenir les défaillances et de garantir qu’ils apportent de la valeur d’affaires à votre entreprise. Ce cours vous présentera les concepts fondamentaux pour créer un système de surveillance robuste pour vos modèles en production.
<br><br>
<h2>Découvrez le flux de travail de surveillance idéal</h2>
Le cours commence par le plan directeur sur les points de départ du suivi en production et sur la façon de structurer les processus qui l’entourent. Nous couvrirons le flux de travail de base en vous montrant comment détecter les problèmes, identifier les causes profondes et les résoudre à l’aide d’exemples concrets.
<br><br>
<h2>Explorez les défis de la surveillance des modèles en production</h2>
Le déploiement d’un modèle en production n’est que le début du cycle de vie du modèle. Même s’il fonctionne bien pendant le développement, il peut échouer en raison de données de production en constante évolution. Dans ce cours, vous explorerez les difficultés liées à la surveillance des performances d’un modèle, surtout lorsqu’il n’y a pas de vérité terrain.
<br><br>
<h2> Comprendre en détail le décalage des covariables et la dérive conceptuelle</h2>
La dernière partie de ce cours se concentrera sur deux types d’échec silencieux du modèle. Vous comprendrez en détail les différents types de décalages de covariables et de dérive conceptuelle, leur influence sur la performance du modèle, ainsi que la façon de les détecter et de les prévenir.

MLOps Concepts

Supervised Learning with scikit-learn

Découvrez les défis de la surveillance des modèles ML en production, comme la dérive des données.

Principes de surveillance en Machine Learning

Ingénieur en apprentissage automatique

Apprentissage automatique en production en Python

Le réentraînement du modèle est une solution coûteuse pour gérer la dérive de concept avec de grands modèles et de gros volumes de données

Un réentraînement périodique permet de garder le modèle à jour par rapport aux tendances récentes

Une dérive de concept récurrente peut survenir lors d'événements comme le Vendredi fou ou Noël

L'Online Learning est sensible aux données bruyantes, ce qui peut améliorer le modèle

Les méthodes fondées sur l'erreur ne nécessitent pas de vérité terrain

Détecter la dérive de concept à l'aide d'un nouveau modèle entraîné sur des données de test et de production est une solution peu coûteuse

Détection et résolution de la dérive de concept

Principes de surveillance en Machine Learning

Exercice interactif pratique