Výpočet business value pro dataset hotelových rezervací
V předchozí části ses seznámil/a s úlohou předpovídání stornování rezervací. Teď budeš pracovat se skutečným datasetem hotelových rezervací, kde model předpovídá stornování na základě země původu zákazníka, doby mezi rezervací a příjezdem, požadovaných parkovacích míst a zvoleného hotelu.
Referenční a analytická sada jsou už načtené. Zde jsou první dva řádky:
country lead_time parking_spaces hotel y_pred y_pred_proba is_canceled timestamp
0 FRA 120 0 City Hotel 0 0.239983 0 2016-05-01
1 ITA 120 1 City Hotel 0 0.003965 0 2016-05-01
Tvůj úkol je zkontrolovat peněžní hodnotu modelu a výkonnost podle metriky ROC AUC.
Toto cvičení je součástí kurzu
Monitoring Machine Learning in Python
Pokyny k cvičení
- Inicializuj vlastní threshold s hodnotou 0 jako dolní hranicí a 150 000 jako horní hranicí.
- Zadej metriky business value a
roc_aucpro monitoring. - V
business_value_matrixnastavTNna 0,FPna -100,FNna -200 aTPna 1500. - Přiřaď vlastní threshold k metrice business value.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Custom business value thresholds
ct = ConstantThreshold(____=____, ____=____)
# Intialize the performance calculator
calc = PerformanceCalculator(problem_type='classification_binary',
y_pred_proba='y_pred_proba',
timestamp_column_name="timestamp",
y_pred='y_pred',
y_true='is_canceled',
chunk_period='m',
metrics=[____, ____],
business_value_matrix = [[____, ____],[____, ____]],
thresholds={____: ____})
calc = calc.fit(reference)
calc_res = calc.calculate(analysis)
calc_res.filter(period='analysis').plot().show()