ホテル予約データセットでのビジネス価値の計算
これまでに、予約キャンセルを予測する課題を見てきました。ここでは、実際の Hotel Booking データセットを使い、顧客の出身国、予約から到着までの期間、必要な駐車スペース数、選択したホテルに基づいて、キャンセルを予測するモデルを扱います。
参照データと分析データはすでに読み込まれています。先頭2行は次のとおりです。
country lead_time parking_spaces hotel y_pred y_pred_proba is_canceled timestamp
0 FRA 120 0 City Hotel 0 0.239983 0 2016-05-01
1 ITA 120 1 City Hotel 0 0.003965 0 2016-05-01
あなたのタスクは、モデルの金銭的価値と ROC AUC のパフォーマンスを確認することです。
この演習はコースの一部です
Pythonで学ぶ機械学習のモニタリング
演習の手順
- 下限を 0、上限を 150,000 に設定してカスタムしきい値を初期化します。
- 監視するメトリックとして business value と
roc_aucを指定します。 business_value_matrixでTNを 0、FPを -100、FNを -200、TPを 1500 に設定します。- ビジネス価値のメトリックにカスタムしきい値を割り当てます。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Custom business value thresholds
ct = ConstantThreshold(____=____, ____=____)
# Intialize the performance calculator
calc = PerformanceCalculator(problem_type='classification_binary',
y_pred_proba='y_pred_proba',
timestamp_column_name="timestamp",
y_pred='y_pred',
y_true='is_canceled',
chunk_period='m',
metrics=[____, ____],
business_value_matrix = [[____, ____],[____, ____]],
thresholds={____: ____})
calc = calc.fit(reference)
calc_res = calc.calculate(analysis)
calc_res.filter(period='analysis').plot().show()