想像你是銀行的資料科學家，負責貸款違約的情境。你每個月都會收到標籤，用來驗證你的模型與效能估計演算法。在某個特定的月份，你觀察到即使是高薪職業的客戶，因為通膨大幅攀升並伴隨就業危機，違約的情況也更常發生。
當你比較估計的效能與實際效能時，發現兩者之間有明顯差距。
在這種情況下，為什麼效能估計演算法可能不那麼有效？
本練習屬於課程
將理論付諸實踐，立即體驗我們的互動練習
在本章中，你會認識 NannyML 函式庫及其核心功能。你將先學習如何從原始資料出發，準備可用於上線監控的參考集與分析集。做為實作範例，你會探討如何預測紐約計程車的小費金額。章末你也會學到如何使用 NannyML 來估計小費預測模型的效能。
在本章中，你會認識當取得真實標籤時使用的「實際效能」計算器。你將學到更進一步處理結果的方法，包括篩選、繪圖、轉成資料框、分塊（chunking），以及設定自訂門檻。最後，你會把這些知識應用到以飯店訂房資料集訓練的模型上，計算其商業價值。
當前練習
在偵測到飯店訂房模型的效能下降後，你將學習如何找出造成問題的根本原因。本章會介紹多變量與單變量的飄移偵測方法。你也會學到如何辨識資料品質問題，並處理你所發現的根本問題。
