Modificare le soglie
Nel video hai visto come NannyML calcola i valori soglia e hai imparato a personalizzarli in base alla tua soluzione.
In questo esercizio, il tuo compito è definire due soglie personalizzate: una basata sulla deviazione standard e una costante, e poi applicarle ai risultati ottenuti dall'algoritmo CBPE per il dataset US Census.
I set di riferimento e di analisi sono già stati caricati come reference e analysis, insieme alla libreria nannyml.
Questo esercizio fa parte del corso
Monitoraggio del Machine Learning in Python
Istruzioni dell'esercizio
- Importa
ConstantThresholdeStandardDeviationThresholddanannyml.thresholds. - Inizializza il metodo della deviazione standard e imposta i parametri
std_lower_multiplierestd_upper_multipliera2. - Inizializza il metodo della soglia costante e imposta il parametro lower a
0.9e upper a0.98. - Passa il metodo della soglia costante per la metrica
f1e il metodo della deviazione standard peraccuracyall'algoritmo CBPE.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Import custom thresholds
from ____.____ import ____, ____
# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)
# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
problem_type='classification_binary',
y_pred_proba='predicted_probability',
y_pred='prediction',
y_true='employed',
metrics=['roc_auc', 'accuracy', 'f1'],
thresholds={____: ____, ____: ____})