Розрахунок бізнес-цінності для набору даних про бронювання готелів
Раніше ви познайомилися із задачею передбачення скасування бронювань. Тут ви попрацюєте зі справжнім набором даних Hotel Booking, де модель передбачає скасування на основі країни походження клієнта, часу між бронюванням і приїздом, необхідної кількості паркомісць і вибраного готелю.
Еталонну вибірку та вибірку для аналізу вже завантажено. Ось перші два рядки:
country lead_time parking_spaces hotel y_pred y_pred_proba is_canceled timestamp
0 FRA 120 0 City Hotel 0 0.239983 0 2016-05-01
1 ITA 120 1 City Hotel 0 0.003965 0 2016-05-01
Ваше завдання — перевірити грошову цінність моделі та її показник ROC AUC.
Ця вправа є частиною курсу
Моніторинг Machine Learning у Python
Інструкції до вправи
- Ініціалізуйте власний поріг із 0 як нижньою межею та 150 000 як верхньою межею.
- Вкажіть для моніторингу метрики бізнес-цінності та
roc_auc. - Задайте в
business_value_matrix:TN— 0,FP— -100,FN— -200,TP— 1500. - Призначте власний поріг метриці бізнес-цінності.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Custom business value thresholds
ct = ConstantThreshold(____=____, ____=____)
# Intialize the performance calculator
calc = PerformanceCalculator(problem_type='classification_binary',
y_pred_proba='y_pred_proba',
timestamp_column_name="timestamp",
y_pred='y_pred',
y_true='is_canceled',
chunk_period='m',
metrics=[____, ____],
business_value_matrix = [[____, ____],[____, ____]],
thresholds={____: ____})
calc = calc.fit(reference)
calc_res = calc.calculate(analysis)
calc_res.filter(period='analysis').plot().show()