Modificar los umbrales
En el vídeo, viste cómo NannyML calcula los valores de umbral y aprendiste a personalizarlos para adaptarlos a tu solución.
En este ejercicio, tu tarea es definir dos umbrales personalizados: uno de desviación estándar y otro constante, y aplicarlos a los resultados obtenidos con el algoritmo CBPE para el conjunto de datos del censo de EE. UU.
Los conjuntos de referencia y análisis se han precargado como reference y analysis, junto con la biblioteca nannyml.
Este ejercicio forma parte del curso
Monitorización de Machine Learning en Python
Instrucciones del ejercicio
- Importa
ConstantThresholdyStandardDeviationThresholddesdenannyml.thresholds. - Inicializa el método de desviación estándar y establece los parámetros
std_lower_multiplierystd_upper_multiplieren2. - Inicializa el método de umbral constante y establece el parámetro inferior en
0.9y el superior en0.98. - Pasa el método de umbral constante para la métrica
f1y el método de desviación estándar paraaccuracyal algoritmo CBPE.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Import custom thresholds
from ____.____ import ____, ____
# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)
# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
problem_type='classification_binary',
y_pred_proba='predicted_probability',
y_pred='prediction',
y_true='employed',
metrics=['roc_auc', 'accuracy', 'f1'],
thresholds={____: ____, ____: ____})