Dans ce chapitre, vous découvrirez la bibliothèque NannyML et ses fonctions essentielles. Vous apprendrez d’abord à préparer des données brutes pour créer des ensembles de référence et d’analyse prêts pour le monitoring en production. Comme exemple pratique, vous étudierez la prédiction du montant du pourboire pour des courses de taxi à New York. En fin de chapitre, vous verrez aussi comment estimer les performances du modèle de prédiction des pourboires avec NannyML.

Qu’est-ce que NannyML ?

Fonctionnalités clés de NannyML

Charger le jeu de données

Préparation des données pour NannyML

Période de référence ou d’analyse ?

Chargement et découpage des données

Création des ensembles de référence et d’analyse

Estimation des performances

Spécifier l’algorithme et le type de problème

Interpréter les résultats

Workflow CBPE et DLE

Estimation des performances pour la prédiction du pourboire

Préparation des données et estimation des performances

Dans ce chapitre, vous découvrirez les calculateurs de performance réalisée utilisés lorsque la vérité terrain devient disponible. Vous verrez des méthodes plus avancées pour exploiter les résultats, notamment filtrer, tracer, les convertir en data frames, les regrouper par blocs (« chunking ») et définir des seuils personnalisés. Enfin, vous appliquerez ces notions pour calculer la valeur métier d’un modèle entraîné sur le jeu de données de réservations d’hôtel.

Quand les étiquettes sont disponibles

Quand l’estimation des performances est erronée

Comparer les performances estimées et réalisées

Travailler avec des résultats calculés et estimés

Différentes méthodes de découpage en segments

Modifier les seuils

Interagir avec les résultats

Calcul et estimation de la valeur métier

Calcul de la valeur business

Baisse de la valeur monétaire

Calcul de la valeur métier pour le jeu de données des réservations d’hôtel

Surveillance des performances et valeur métier

Après avoir détecté une dégradation des performances du modèle de réservation d’hôtel, vous apprendrez à identifier le problème sous-jacent qui en est la cause. Dans ce chapitre, vous serez initié aux méthodes de détection de dérive multivariée et univariée. Vous verrez également comment identifier des problèmes de qualité de données et comment corriger les causes profondes détectées.

Détection de dérive multivariée

Identifier les dérives pertinentes

Dérive dans le jeu de données des réservations d’hôtel

Détection de dérive univariée

Détection de dérive univariée pour le jeu de données des réservations d’hôtel

Classer les résultats univariés

Visualiser les variables en dérive

Contrôles de qualité des données et de statistiques

Contrôles de qualité des données

Statistiques récapitulatives

Résolution des problèmes

Quelle est la résolution ?

Faut-il ne rien faire ou pas ?

Mettre en place un workflow de monitoring

Félicitations

Analyse des causes racines et résolution des problèmes

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

La surveillance des modèles de Machine Learning garantit la réussite à long terme de vos projets. Mettre en place un suivi peut être très complexe. Heureusement, des packages Python nous aident à comprendre les performances de nos modèles, à repérer les évolutions de données pouvant expliquer une baisse de performance, et à identifier les actions à mener pour remettre nos modèles sur les rails. Ce cours couvre tout ce qu’il faut savoir pour construire un système de monitoring de base en Python, en utilisant le package populaire de monitoring, nannyml.


<h2>Découvrez comment surveiller vos modèles ML dans Python.</h2>

La surveillance des modèles d'apprentissage automatique garantit le succès à long terme de vos projets d'apprentissage automatique. Le suivi peut s'avérer très complexe, mais il existe des packages Python qui nous aident à comprendre les performances de nos modèles, à identifier les données qui ont changé et qui ont pu entraîner une baisse des performances, et à nous fournir des indications sur les mesures à prendre pour remettre nos modèles sur la bonne voie. Ce cours couvre tout ce que vous devez savoir pour créer un système de surveillance de base en Python, à l'aide du célèbre package de surveillance nannyml.

<h2>Comprendre le processus de surveillance optimal</h2>

La surveillance des modèles ne consiste pas seulement à calculer les performances des modèles en production. Malheureusement, ce n'est pas aussi simple. Particulièrement lorsque les étiquettes sont difficiles à obtenir. Ce cours vous permettra d'acquérir des connaissances sur le processus de surveillance optimal. Cela vous permettra de toujours détecter les défaillances des modèles, d'éviter la fatigue liée aux alertes et d'identifier rapidement la cause du problème.

<h2>Découvrez comment identifier la cause profonde des problèmes de performance des modèles.</h2>

L'analyse des causes profondes constitue un autre élément important de la surveillance des modèles. Ce cours abordera en détail l'utilisation des techniques de détection des dérives de données afin d'identifier la cause profonde des problèmes de performance des modèles. Vous apprendrez à utiliser des techniques de détection de dérive des données univariées et multivariées afin d'identifier les causes potentielles des problèmes liés aux modèles.




Monitoring Machine Learning Concepts

Ce cours couvre la création d'un système de surveillance de l'apprentissage automatique en Python.

Surveiller le Machine Learning en Python

Ce cours couvre tous les aspects nécessaires à la création d'un système de surveillance de machine learning de base en Python.

Ingénieur en apprentissage automatique

L'apprentissage automatique en production en Python

Data Scientist

When labels are available

Estimated vs realized performance

Delayed ground truth

Performance calculator

Plot the results

Realized and estimated performance

Let's practice!

Surveillance des performances et valeur métier - Quand les étiquettes sont disponibles

Quand les étiquettes sont disponibles

Create Your Free Account