Зміна порогів
У відео ви бачили, як NannyML обчислює порогові значення, і дізналися, як налаштовувати їх під ваші потреби.
У цій вправі потрібно визначити два власні методи порогів — за стандартним відхиленням і сталий — а потім застосувати їх до результатів, отриманих алгоритмом CBPE для набору даних US Census.
Опорну та аналітичну вибірки вже завантажено як reference і analysis, а також бібліотеку nannyml.
Ця вправа є частиною курсу
Моніторинг Machine Learning у Python
Інструкції до вправи
- Імпортуйте
ConstantThresholdіStandardDeviationThresholdзnannyml.thresholds. - Ініціалізуйте метод за стандартним відхиленням і встановіть параметри
std_lower_multiplierтаstd_upper_multiplierу значення2. - Ініціалізуйте метод сталого порога і встановіть параметр lower на
0.9, а upper — на0.98. - Передайте метод сталого порога для метрики
f1, а метод стандартного відхилення — дляaccuracyв алгоритм CBPE.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import custom thresholds
from ____.____ import ____, ____
# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)
# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
problem_type='classification_binary',
y_pred_proba='predicted_probability',
y_pred='prediction',
y_true='employed',
metrics=['roc_auc', 'accuracy', 'f1'],
thresholds={____: ____, ____: ____})