Workflow CBPE et DLE

Rappelez-vous que NannyML propose un workflow reproductible, similaire à scikit-learn, pour estimer la performance technique de votre modèle.

Réordonnez le pseudo-code fourni pour refléter l’initialisation de l’algorithme CBPE, l’estimation de la performance et sa visualisation.

Cet exercice fait partie du cours

<cours>Surveiller le Machine Learning en Python</cours>

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Surveiller le Machine Learning en Python</cours>

AvancéNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous découvrirez la bibliothèque NannyML et ses fonctions essentielles. Vous apprendrez d’abord à préparer des données brutes pour créer des ensembles de référence et d’analyse prêts pour le monitoring en production. Comme exemple pratique, vous étudierez la prédiction du montant du pourboire pour des courses de taxi à New York. En fin de chapitre, vous verrez aussi comment estimer les performances du modèle de prédiction des pourboires avec NannyML.

Exercise 1: Qu’est-ce que NannyML ?Exercise 2: Fonctionnalités clés de NannyML Exercise 3: Charger le jeu de données Exercise 4: Préparation des données pour NannyML Exercise 5: Période de référence ou d’analyse ?Exercise 6: Chargement et découpage des données Exercise 7: Création des ensembles de référence et d’analyse Exercise 8: Estimation des performances Exercise 9: Spécifier l’algorithme et le type de problème Exercise 10: Interpréter les résultats Exercise 11: Workflow CBPE et DLE

Exercice actuel

Exercise 12: Estimation des performances pour la prédiction du pourboire

Dans ce chapitre, vous découvrirez les calculateurs de performance réalisée utilisés lorsque la vérité terrain devient disponible. Vous verrez des méthodes plus avancées pour exploiter les résultats, notamment filtrer, tracer, les convertir en data frames, les regrouper par blocs (« chunking ») et définir des seuils personnalisés. Enfin, vous appliquerez ces notions pour calculer la valeur métier d’un modèle entraîné sur le jeu de données de réservations d’hôtel.

Exercise 1: Quand les étiquettes sont disponibles Exercise 2: Quand l’estimation des performances est erronée Exercise 3: Comparer les performances estimées et réalisées Exercise 4: Travailler avec des résultats calculés et estimés Exercise 5: Différentes méthodes de découpage en segments Exercise 6: Modifier les seuils Exercise 7: Interagir avec les résultats Exercise 8: Calcul et estimation de la valeur métier Exercise 9: Calcul de la valeur business Exercise 10: Baisse de la valeur monétaire Exercise 11: Calcul de la valeur métier pour le jeu de données des réservations d’hôtel

Après avoir détecté une dégradation des performances du modèle de réservation d’hôtel, vous apprendrez à identifier le problème sous-jacent qui en est la cause. Dans ce chapitre, vous serez initié aux méthodes de détection de dérive multivariée et univariée. Vous verrez également comment identifier des problèmes de qualité de données et comment corriger les causes profondes détectées.

Exercise 1: Détection de dérive multivariée Exercise 2: Identifier les dérives pertinentes Exercise 3: Dérive dans le jeu de données des réservations d’hôtel Exercise 4: Détection de dérive univariée Exercise 5: Détection de dérive univariée pour le jeu de données des réservations d’hôtel Exercise 6: Classer les résultats univariés Exercise 7: Visualiser les variables en dérive Exercise 8: Contrôles de qualité des données et de statistiques Exercise 9: Contrôles de qualité des données Exercise 10: Statistiques récapitulatives Exercise 11: Résolution des problèmes Exercise 12: Quelle est la résolution ?Exercise 13: Faut-il ne rien faire ou pas ?Exercise 14: Mettre en place un workflow de monitoring Exercise 15: Félicitations