Mettre en place un workflow de monitoring
Tout au long du cours, vous avez découvert le workflow de monitoring. La première étape consiste à surveiller la performance. En cas de dégradation, les étapes suivantes impliquent une détection de drift multivariée pour vérifier si le drift a provoqué la baisse de performance, puis une détection de drift univariée pour identifier les variables individuelles en cause. Une fois l’analyse terminée, vous pouvez prendre des mesures pour résoudre le problème.
Pour ancrer ces notions, vous appliquerez ce processus au jeu de données US Consensus dans cet exercice. Les jeux de données de référence et d’analyse sont préchargés, et vous avez accès à l’estimator CBPE, au calculateur univarié uv_calc, ainsi qu’à un alert_count_ranker pour classer les variables selon leur drift.
Cet exercice fait partie du cours
Surveiller le Machine Learning en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Estimate the performance
estimator.____(____)
estimated_results = estimator.____(____)
estimated_results.____.____