Modifier les seuils
Dans la vidéo, vous avez vu comment NannyML calcule les valeurs de seuil et appris à les personnaliser pour les adapter à votre solution.
Dans cet exercice, vous devez définir deux méthodes de seuil : une basée sur l'écart-type et une constante, puis les appliquer aux résultats obtenus avec l'algorithme CBPE pour le jeu de données US Census.
Les ensembles de référence et d'analyse ont été préchargés sous les noms reference et analysis, ainsi que la bibliothèque nannyml.
Cet exercice fait partie du cours
Surveiller le Machine Learning en Python
Instructions
- Importez
ConstantThresholdetStandardDeviationThresholddepuisnannyml.thresholds. - Initialisez la méthode d'écart-type et définissez les paramètres
std_lower_multiplieretstd_upper_multiplierà2. - Initialisez la méthode de seuil constant et définissez le paramètre lower à
0.9et upper à0.98. - Passez la méthode de seuil constant pour la métrique
f1et la méthode d'écart-type pouraccuracyà l'algorithme CBPE.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import custom thresholds
from ____.____ import ____, ____
# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)
# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
problem_type='classification_binary',
y_pred_proba='predicted_probability',
y_pred='prediction',
y_true='employed',
metrics=['roc_auc', 'accuracy', 'f1'],
thresholds={____: ____, ____: ____})