Расчёт бизнес-ценности для набора данных об отелях
Ранее вы познакомились с задачей прогнозирования отмены бронирований. Здесь вы будете работать с реальным набором данных о бронировании отелей, где модель предсказывает отмену бронирования на основе страны происхождения клиента, времени между бронированием и заездом, необходимого количества парковочных мест и выбранного отеля.
Опорная и аналитическая выборки уже загружены. Вот первые две строки:
country lead_time parking_spaces hotel y_pred y_pred_proba is_canceled timestamp
0 FRA 120 0 City Hotel 0 0.239983 0 2016-05-01
1 ITA 120 1 City Hotel 0 0.003965 0 2016-05-01
Ваша задача — оценить денежную ценность модели и её производительность по метрике ROC AUC.
Это упражнение является частью курса
Мониторинг машинного обучения на Python
Инструкции к упражнению
- Инициализируйте пользовательский порог, задав 0 в качестве нижнего значения и 150 000 — в качестве верхнего.
- Укажите метрики бизнес-ценности и
roc_aucдля мониторинга. - Задайте в
business_value_matrix:TN= 0,FP= -100,FN= -200,TP= 1500. - Назначьте пользовательский порог метрике бизнес-ценности.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Custom business value thresholds
ct = ConstantThreshold(____=____, ____=____)
# Intialize the performance calculator
calc = PerformanceCalculator(problem_type='classification_binary',
y_pred_proba='y_pred_proba',
timestamp_column_name="timestamp",
y_pred='y_pred',
y_true='is_canceled',
chunk_period='m',
metrics=[____, ____],
business_value_matrix = [[____, ____],[____, ____]],
thresholds={____: ____})
calc = calc.fit(reference)
calc_res = calc.calculate(analysis)
calc_res.filter(period='analysis').plot().show()