推定値と実測パフォーマンスの比較
パフォーマンスの計算方法を確認したので、次はNYCグリーンタクシーのデータセットを使ったチップ予測モデルについて、実測パフォーマンスを計算してみましょう。
リファレンスデータと分析用データはすでに読み込まれており、reference と analysis という変数に保存されています。
さらに、チップ予測に対するDLEアルゴリズムの結果は、estimated_results 変数に格納されています。
この演習はコースの一部です
Pythonで学ぶ機械学習のモニタリング
演習の手順
- 計算器の初期化では、問題の種類を
regressionに指定します。 - リファレンスデータで計算器をフィットし、分析用データのパフォーマンスをcalculate(計算)します。
compare()メソッドを使って、realized_resultsとestimated_resultsの比較プロットを表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Intialize the calculator
calculator = nannyml.PerformanceCalculator(
y_true='tip_amount',
y_pred='y_pred',
chunk_period='d',
metrics=['mae'],
timestamp_column_name='lpep_pickup_datetime',
problem_type=____)
# Fit the calculator
calculator.fit(____)
realized_results = calculator.____(____)
# Show comparison plot for realized and estimated performance
____.____(____).plot().show()