In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

What is NannyML?

Key features of NannyML

Load the dataset

Data preparation for NannyML

Reference or analysis period?

Loading and splitting the data

Creating reference and analysis set

Performance estimation

Specify the algorithm and problem type

Interpreting results

CBPE and DLE workflow

Performance estimation for tip prediction

Data Preparation and Performance Estimation

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

Quand les étiquettes sont disponibles

Quand l’estimation des performances est erronée

Comparer les performances estimées et réalisées

Travailler avec des résultats calculés et estimés

Différentes méthodes de découpage en segments

Modifier les seuils

Interagir avec les résultats

Calcul et estimation de la valeur métier

Calcul de la valeur business

Baisse de la valeur monétaire

Calcul de la valeur métier pour le jeu de données des réservations d’hôtel

Monitoring Performance and Business Value

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Multivariate drift detection

Identifying relevant drifts

Drift in hotel booking dataset

Univariate drift detection

Univariate drift detection for hotel booking dataset

Ranking the univariate results

Visualizing drifting features

Data quality and statistic checks

Data quality checks

Summary statistics

Issue resolution

What is the resolution?

Should you do nothing or not?

Implementing a monitoring workflow

Congratulations

Root Cause Analysis and Issue Resolution

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

La surveillance des modèles de Machine Learning garantit la réussite à long terme de vos projets. Mettre en place un suivi peut être très complexe. Heureusement, des packages Python nous aident à comprendre les performances de nos modèles, à repérer les évolutions de données pouvant expliquer une baisse de performance, et à identifier les actions à mener pour remettre nos modèles sur les rails. Ce cours couvre tout ce qu’il faut savoir pour construire un système de monitoring de base en Python, en utilisant le package populaire de monitoring, nannyml.


<h2>Découvrez comment surveiller vos modèles ML dans Python.</h2>

La surveillance des modèles d'apprentissage automatique garantit le succès à long terme de vos projets d'apprentissage automatique. Le suivi peut s'avérer très complexe, mais il existe des packages Python qui nous aident à comprendre les performances de nos modèles, à identifier les données qui ont changé et qui ont pu entraîner une baisse des performances, et à nous fournir des indications sur les mesures à prendre pour remettre nos modèles sur la bonne voie. Ce cours couvre tout ce que vous devez savoir pour créer un système de surveillance de base en Python, à l'aide du célèbre package de surveillance nannyml.

<h2>Comprendre le processus de surveillance optimal</h2>

La surveillance des modèles ne consiste pas seulement à calculer les performances des modèles en production. Malheureusement, ce n'est pas aussi simple. Particulièrement lorsque les étiquettes sont difficiles à obtenir. Ce cours vous permettra d'acquérir des connaissances sur le processus de surveillance optimal. Cela vous permettra de toujours détecter les défaillances des modèles, d'éviter la fatigue liée aux alertes et d'identifier rapidement la cause du problème.

<h2>Découvrez comment identifier la cause profonde des problèmes de performance des modèles.</h2>

L'analyse des causes profondes constitue un autre élément important de la surveillance des modèles. Ce cours abordera en détail l'utilisation des techniques de détection des dérives de données afin d'identifier la cause profonde des problèmes de performance des modèles. Vous apprendrez à utiliser des techniques de détection de dérive des données univariées et multivariées afin d'identifier les causes potentielles des problèmes liés aux modèles.




Monitoring Machine Learning Concepts

Ce cours couvre la création d'un système de surveillance de l'apprentissage automatique en Python.

Surveiller le Machine Learning en Python

Ce cours couvre tous les aspects nécessaires à la création d'un système de surveillance de machine learning de base en Python.

Ingénieur en apprentissage automatique

L'apprentissage automatique en production en Python

Baisse de la valeur monétaire

Exercice interactif pratique