НачатьНачать бесплатно

Настройка пороговых значений

В видео вы узнали, как NannyML вычисляет пороговые значения, и научились настраивать их под конкретную задачу.

В этом упражнении вам нужно задать два пользовательских порога — на основе стандартного отклонения и фиксированный — а затем применить их к результатам, полученным от алгоритма CBPE для набора данных US Census.

Обучающая и анализируемая выборки уже загружены как reference и analysis, а также доступна библиотека nannyml.

Это упражнение является частью курса

Мониторинг машинного обучения на Python

Посмотреть курс

Инструкции к упражнению

  • Импортируйте ConstantThreshold и StandardDeviationThreshold из nannyml.thresholds.
  • Инициализируйте метод стандартного отклонения и задайте параметрам std_lower_multiplier и std_upper_multiplier значение 2.
  • Инициализируйте метод фиксированного порога, установив нижний параметр равным 0.9, а верхний — 0.98.
  • Передайте метод фиксированного порога для метрики f1 и метод стандартного отклонения для accuracy в алгоритм CBPE.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import custom thresholds
from ____.____ import ____, ____

# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    problem_type='classification_binary',
    y_pred_proba='predicted_probability',
    y_pred='prediction',
    y_true='employed',
    metrics=['roc_auc', 'accuracy', 'f1'],
    thresholds={____: ____, ____: ____})
Редактировать и запускать код