第 1 章将解释企业为何需要在生产环境中监控您的机器学习模型。您将了解理想的监控工作流及其各个步骤，以及监控系统在生产中可能面临的一些挑战。

为什么需要监控您的模型

模型为何会失效？

监控系统的收益

理想的监控工作流

监控 KPI 的重要性

选项

性能监控

根因分析

问题解决

监控工作流过程

真实场景下的监控工作流

监控 ML 模型的挑战

即时真实标签

延迟真实标签

延迟的真实标签

协变量偏移

概念漂移

协变量偏移 vs 概念漂移

什么是 ML 监控

在第 2 章，您将认识到性能监控在可靠监控系统中的基础性作用。我们将探讨真实生产环境中常见的挑战，例如真值的可用性。到本章结束时，您将学会在真值数据延迟到达或缺失时，如何使用性能估计算法进行应对。

直接监控技术性能

为什么先看性能？

不同类型的协变量漂移

真实标签的可用性

是否需要进行性能估计？

生产环境中的性能监控

性能估计

CBPE 的注意事项

生产环境中的性能估计

性能估计算法

监控的理论概念

既然您已经了解了生产环境中的协变量偏移与概念漂移基础知识，我们来更深入地探讨。完成本章后，您将掌握在真实场景中检测并处理它们的不同方法。

什么是协变量漂移？

交换了的特征

漂移检测方法

如何检测协变量移位

细微变化

不同的方法

什么是概念漂移？

概念漂移的类型

概念漂移与协变量偏移的交互

如何处理概念漂移？

实时自适应

概念漂移的检测与处理

总结

协变量偏移与概念漂移的检测

要确保机器学习模型的长期成功，必须了解如何在生产环境中有效监控它们。随着机器学习在商业领域的广泛应用，部署后的数据科学正逐渐成为一个重要方向。本课程涵盖在生产环境中监控机器学习系统的所有关键概念，旨在保持业务价值、降低失败风险，并提升可见性。

<h2>机器学习监控概念</h2>
机器学习模型正在影响现实世界中越来越多的决策。 这些模型需要持续监控，以防止故障，并确保它们为您的公司带来业务价值。 本课程将向您介绍如何为生产环境中的模型构建稳健监控系统的基本概念。
<br><br>
<h2>发现理想的监控工作流程</h2>
课程从如何确定生产环境中从何处开始监控，以及如何围绕它构建流程的蓝图讲起。 我们将通过展示如何发现问题、识别根本原因并借助真实案例加以解决，来讲解基本工作流程。
<br><br>
<h2>探索生产环境中监控模型的挑战</h2>
将模型部署到生产环境只是模型生命周期的开始。 即使在开发过程中表现良好，也可能由于生产数据持续变化而失败。 在这门课程中，你将探索监控模型性能的难点，尤其是在没有真实标签的情况下。
<br><br>
<h2> 详细理解协变量偏移和概念漂移</h2>
本课程的最后一部分将重点介绍两种类型的静默模型故障。 你将深入了解不同类型的协变量偏移和概念漂移、它们对模型性能的影响，以及如何检测和防止它们。

MLOps Concepts

Supervised Learning with scikit-learn

了解生产中机器学习模型的监控挑战，包括数据漂移、概念漂移及应对模型退化的方法。

机器学习监控概念

了解在生产环境中监控机器学习模型的挑战，包括数据漂移和概念漂移，以及应对模型退化的方法。

机器学习工程师

生产中的机器学习 在 Python 中

指输入数据与目标之间关系发生变化

协变量偏移 vs 概念漂移

机器学习监控概念

动手互动练习