Ce premier chapitre explique pourquoi les entreprises doivent surveiller vos modèles de Machine Learning en production. Vous verrez le flux de travail idéal de surveillance et ses étapes, ainsi que certains des défis que les systèmes de surveillance peuvent rencontrer en production.

Pourquoi vous devez surveiller votre modèle

Pourquoi les modèles échouent-ils?

Les avantages des systèmes de suivi

Le flux de travail de surveillance idéal

L'importance de surveiller les KPI

Flux de travail de surveillance idéal

Flux de surveillance dans un scénario réel

Défis liés à la surveillance des modèles de ML

Vérité terrain différée

Covariate shift vs concept drift

Qu'est-ce que la surveillance en ML

Dans le chapitre 2, vous découvrirez l'importance fondamentale du suivi de la performance dans un système de surveillance fiable. Nous examinerons les défis courants rencontrés dans des environnements de production réels, comme la disponibilité de la vérité terrain. À la fin du chapitre, vous saurez comment gérer les situations où les données de vérité terrain sont retardées ou absentes, au moyen d'algorithmes d'estimation de la performance.

Surveiller directement la performance technique

Pourquoi la performance d'abord?

Différents décalages de covariables

Disponibilité de la vérité terrain

Faut-il estimer la performance?

Surveillance de la performance en production

Estimation de la performance

Points à considérer pour le CBPE

Estimation de la performance en production

Algorithmes d'estimation de la performance

Concepts théoriques de la surveillance

Maintenant que vous connaissez les bases du décalage des covariables et de la dérive de concept en production, allons un peu plus loin. À la fin de ce chapitre, vous connaîtrez les différentes façons de les détecter et de les traiter dans des scénarios réels.

Qu'est-ce que le covariate shift ?

Caractéristiques échangées

Méthode de détection de dérive

Comment détecter un décalage des covariables

Changements subtils

Options

Vrai

Faux

Différentes méthodes

Qu'est-ce que le concept drift ?

Type de dérive de concept

Interaction entre la concept drift et le covariate shift

Comment gérer le concept drift?

Adaptation en temps réel

Détection et résolution de la dérive de concept

En résumé

Détection du décalage des covariables et de la dérive de concept

Pour assurer la réussite à long terme des modèles de Machine Learning, il est essentiel de savoir comment les surveiller efficacement en production. À mesure que le Machine Learning se généralise dans le monde des affaires, la science des données après déploiement devient un domaine important. Ce cours couvre tous les concepts essentiels liés à la surveillance des systèmes de Machine Learning en production, afin de maintenir la valeur d'affaires, réduire le risque d'échec et accroître la visibilité.

<h2> Concepts de surveillance de l’apprentissage automatique</h2>
Les modèles d’apprentissage automatique influencent de plus en plus de décisions dans le monde réel. Ces modèles doivent être surveillés afin de prévenir les défaillances et de garantir qu’ils apportent de la valeur d’affaires à votre entreprise. Ce cours vous présentera les concepts fondamentaux pour créer un système de surveillance robuste pour vos modèles en production.
<br><br>
<h2>Découvrez le flux de travail de surveillance idéal</h2>
Le cours commence par le plan directeur sur les points de départ du suivi en production et sur la façon de structurer les processus qui l’entourent. Nous couvrirons le flux de travail de base en vous montrant comment détecter les problèmes, identifier les causes profondes et les résoudre à l’aide d’exemples concrets.
<br><br>
<h2>Explorez les défis de la surveillance des modèles en production</h2>
Le déploiement d’un modèle en production n’est que le début du cycle de vie du modèle. Même s’il fonctionne bien pendant le développement, il peut échouer en raison de données de production en constante évolution. Dans ce cours, vous explorerez les difficultés liées à la surveillance des performances d’un modèle, surtout lorsqu’il n’y a pas de vérité terrain.
<br><br>
<h2> Comprendre en détail le décalage des covariables et la dérive conceptuelle</h2>
La dernière partie de ce cours se concentrera sur deux types d’échec silencieux du modèle. Vous comprendrez en détail les différents types de décalages de covariables et de dérive conceptuelle, leur influence sur la performance du modèle, ainsi que la façon de les détecter et de les prévenir.

MLOps Concepts

Supervised Learning with scikit-learn

Découvrez les défis de la surveillance des modèles ML en production, comme la dérive des données.

Principes de surveillance en Machine Learning

Ingénieur en apprentissage automatique

Apprentissage automatique en production en Python

La méthode multivariée de détection de dérive mesure les changements dans la distribution conjointe pour repérer un décalage des covariables

La distance de Jensen-Shannon mesure la similarité à l'aide de la divergence KL

La méthode de Kolmogorov-Smirnov peut générer de fausses alertes positives

Le test du khi carré et la méthode L-infinity fonctionnent à la fois pour les variables continues et catégorielles

L'algorithme PCA utilisé en détection multivariée de dérive projette les données dans un espace de plus grande dimension pour une meilleure analyse

Différentes méthodes

Principes de surveillance en Machine Learning

Exercice interactif pratique