第 1 章將說明為何企業需要在正式環境監控你的機器學習模型。你會學到理想的監控流程與其步驟，以及監控系統在正式環境中可能面臨的挑戰。

為什麼需要監控你的模型

為什麼模型會失敗？

監控系統的好處

理想的監控工作流程

為何要監控 KPI 的重要性

選項

效能監控

根因分析

問題解決

監控流程步驟

真實情境中的監控流程

監控 ML 模型的挑戰

即時真實標籤

延遲的真實標籤

協變量偏移

概念飄移

協變量偏移 vs 概念飄移

什麼是 ML 監控

在第 2 章，你將了解效能監控在可靠監控系統中的核心重要性。我們會探討實際正式環境常見的挑戰，例如真實標籤（ground truth）的可用性。完成本章後，你將知道在真實標籤延遲或缺乏時，如何運用效能估計演算法來應對。

直接監測技術效能

為什麼效能要優先？

不同類型的協變量漂移

真實標記的可用性

是否需要效能估計？

在生產環境監控效能

效能估計

CBPE 的注意事項

在生產環境中的效能估計

效能估計的演算法

監控的理論概念

既然你已掌握在正式環境中的共變異轉移與概念飄移基礎，接下來更深入一些。完成本章後，你將了解在真實情境中偵測與處理它們的不同方法。

什麼是共變量偏移（covariate shift）？

交換了的特徵

漂移偵測方法

如何偵測共變數偏移

細微變化

不同的方法

什麼是概念漂移？

概念漂移的類型

概念漂移與共變量偏移的互動

如何處理概念漂移？

即時調適

概念漂移的偵測與處理

結語

共變異轉移與概念飄移的偵測

若要確保機器學習模型的長期成功，你必須了解如何在正式環境中有效監控它們。隨著機器學習在商業領域的普及，部署後的資料科學正成為一個重要領域。本課程將涵蓋在正式環境中監控機器學習系統的所有關鍵概念，以維持商業價值、降低失敗風險，並提升可觀測性。

<h2> 機器學習監控概念</h2>
機器學習模型在現實世界中對越來越多的決策產生影響。 這些模型需要持續監控，以防止故障並確保為您的公司帶來商業價值。 本課程將帶您認識在實際運作環境中，為您的模型建立穩健監控系統的基本概念。
<br><br>
<h2>探索理想的監控工作流程</h2>
本課程首先介紹在生產環境中應從哪裡開始監控，以及如何規劃相關流程的架構。 我們將透過實際案例，帶您了解如何偵測問題、找出根本原因，並加以解決，全面介紹基本工作流程。
<br><br>
<h2>探索在生產環境中監控模型的挑戰</h2>
將模型部署到生產環境只是模型生命週期的起點。 即使在開發階段表現良好，模型仍可能因為生產環境中的資料持續變動而失敗。 在本課程中，您將深入探討在缺乏真實標準的情況下，監控模型效能所面臨的挑戰。
<br><br>
<h2>深入了解共變量偏移與概念漂移</h2>
本課程的最後部分將著重於兩種類型的無聲模型失敗。 您將深入了解各種協變量偏移與概念漂移，它們對模型效能的影響，以及如何偵測與預防這些現象。

MLOps Concepts

Supervised Learning with scikit-learn

了解監控生產中機器學習模型的挑戰，包括數據漂移、概念漂移及解決模型退化的方法。

Machine Learning 監控概念

掌握監控機器學習模型在生產環境中的挑戰，包括資料漂移、概念漂移及解決模型劣化的方法。

機器學習工程師

機器學習在實務應用 使用 Python

幾乎一定會影響模型對業務的效果

指的是輸入資料與目標之間關係的改變

協變量偏移 vs 概念飄移

Machine Learning 監控概念

動手互動練習