Modificando os limites (thresholds)
No vídeo, você viu como o NannyML calcula valores de limite (thresholds) e aprendeu a personalizá-los para o seu caso.
Neste exercício, sua tarefa é definir dois limites personalizados: um de desvio padrão e um constante, e depois aplicá-los aos resultados obtidos pelo algoritmo CBPE para o conjunto de dados do US Census.
Os conjuntos de referência e de análise já foram carregados como reference e analysis, assim como a biblioteca nannyml.
Este exercício faz parte do curso
Monitoramento de Machine Learning em Python
Instruções do exercício
- Importe
ConstantThresholdeStandardDeviationThresholddenannyml.thresholds. - Inicialize o método de desvio padrão e defina os parâmetros
std_lower_multiplierestd_upper_multipliercomo2. - Inicialize o método de limite constante e defina o parâmetro inferior (
lower) como0.9e o superior (upper) como0.98. - Passe o método de limite constante para a métrica
f1e o método de desvio padrão paraaccuracyno algoritmo CBPE.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Import custom thresholds
from ____.____ import ____, ____
# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)
# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
problem_type='classification_binary',
y_pred_proba='predicted_probability',
y_pred='prediction',
y_true='employed',
metrics=['roc_auc', 'accuracy', 'f1'],
thresholds={____: ____, ____: ____})