Le système de monitoring

À ce stade, il est clair qu’une application de ML ne se résume pas au modèle et que chaque composant peut être un point de défaillance.

Pour cette raison, un système de monitoring complet est absolument essentiel pour détecter et résoudre rapidement les problèmes en production.

Quelles sont les fonctionnalités fondamentales qu’un tel système devrait offrir ?

Cet exercice fait partie du cours

<cours>Déploiement MLOps et cycle de vie</cours>

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Déploiement MLOps et cycle de vie</cours>

AvancéNiveau de compétence

4.8+

Commencer le cours gratuitement

Ce chapitre propose une vue d’ensemble des principes MLOps et des composants du cadre essentiels au déploiement et au cycle de vie.

Exercise 1: Le cadre MLOps moderne Exercise 2: Workflows ML Exercise 3: Les bénéfices de MLOps Exercise 4: Étapes du cycle de vie Exercise 5: Application vs. modèle Exercise 6: Mise hors service Exercise 7: Cycle de vie du modèle : récapitulatif Exercise 8: Composants MLOps Exercise 9: Séquence automatisée Exercise 10: Stores et registres Exercise 11: DevOps ou MLOps ?

Ce chapitre est consacré à toutes les décisions à prendre dès la phase de développement afin d’assurer une transition fluide lorsque nous arriverons aux opérations. Notre objectif est d’expliquer comment entraîner le modèle en appliquant les bonnes pratiques MLOps, puis de construire un package de modèle qui facilite un déploiement fluide, la reproductibilité et la surveillance post‑déploiement.

Exercise 1: Développement guidé par le déploiement Exercise 2: Tester votre modèle de Machine Learning Exercise 3: Meilleur moment pour commencer le déploiement Exercise 4: Profilage, gestion des versions et feature stores Exercise 5: Propriétés d’un feature store Exercise 6: Avantages du profiling et des feature stores Exercise 7: Garantir la reproductibilité Exercise 8: Pipelines de construction de modèles en CI/CD Exercise 9: Différents pipelines Exercise 10: Propriétés du pipeline de build du modèle Exercise 11: Intégration CI/CD Exercise 12: Emballage du modèle Exercise 13: Formats de modèles Exercise 14: Package complet

Ce chapitre aborde des questions opérationnelles cruciales pour les modèles, telles que : - Quelles sont les différentes manières de servir nos modèles ? - Qu’est‑ce qu’une API et quelles sont ses fonctionnalités clés ? - Comment tester minutieusement notre service avant de le rendre disponible aux utilisateurs finaux ? - Comment mettre à jour des modèles en production sans perturber le service ? Vous allez découvrir la prédiction par lot, la prédiction en temps réel, la validation des données d’entrée et de sortie, les tests unitaires, les tests d’intégration, le déploiement canari, et bien plus encore.

Exercise 1: Modes de service Exercise 2: Hors ligne ou en ligne ?Exercise 3: Quand le temps compte… un peu Exercise 4: Créer l’API Exercise 5: Client-serveur Exercise 6: Fonctionnalités de l’API Exercise 7: Progression du déploiement et tests Exercise 8: De quel test s’agit-il ?Exercise 9: Progression entre les environnements Exercise 10: Tests par environnement Exercise 11: Stratégies de déploiement de modèles Exercise 12: Une stratégie de déploiement adaptée Exercise 13: Ordre de risque Exercise 14: L’ombre de l’ombre

Ce dernier chapitre est dédié à la surveillance et à la maintenance des services ML après leur déploiement, ainsi qu’à la gouvernance des modèles. Vous aborderez des notions clés telles que la latence de vérification, le décalage des covariables (covariate shift), la dérive de concept (concept drift), les systèmes avec humain dans la boucle, et plus encore.

Exercise 1: Surveiller les services de Machine Learning Exercise 2: Shift vs drift Exercise 3: Latence Exercise 4: Déjà ?Exercise 5: Suivi et alertes Exercise 6: Le système de monitoring

Exercice actuel

Exercise 7: Alerte Exercise 8: Maintenance du modèle Exercise 9: Approche centrée données vs centrée modèle Exercise 10: Humain dans la boucle Exercise 11: Gouvernance des modèles Exercise 12: Éléments de gouvernance Exercise 13: Étapes de la gouvernance Exercise 14: Classification des risques Exercise 15: Conclusion