本章将向您介绍 NannyML 库及其核心功能。您将先学习如何准备原始数据，构建可用于生产监控的参考集与分析集。作为实践示例，您将研究纽约出租车行程的小费金额预测。最后，您还将学习如何使用 NannyML 估计小费预测模型的性能。

什么是 NannyML？

NannyML 的关键功能

加载数据集

为 NannyML 做数据准备

参考期还是分析期？

加载并拆分数据

创建参考集与分析集

性能估计

指定算法与问题类型

解读结果

CBPE 和 DLE 工作流

小费预测的性能估计

数据准备与性能估计

本章将介绍在真实标签可用时使用的已实现性能计算器。您将学习更高级的结果处理方法，包括筛选、绘图、转换为数据框、分块处理，以及设定自定义阈值。最后，您将把所学应用到酒店预订数据集上，计算模型所创造的业务价值。

当标签可用时

当性能估计失准时

比较估计性能与已实现性能

处理已计算与已估计的结果

不同的分块方法

修改阈值

与结果交互

业务价值的计算与估计

业务价值计算

货币价值下降

酒店预订数据集的业务价值计算

监控性能与业务价值

在发现酒店预订模型出现性能下降后，您将学习如何定位其背后的根本原因。本章将介绍多变量与单变量漂移检测方法。您还将学习如何识别数据质量问题，并处理所发现的根本性问题。

多变量漂移检测

识别相关漂移

酒店预订数据集中的漂移

单变量漂移检测

酒店预订数据集的单变量漂移检测

对单变量结果进行排序

可视化发生漂移的特征

数据质量与统计检查

数据质量检查

汇总统计

问题解决

应如何解决？

该什么都不做吗？

实现监控工作流

恭喜您

根因分析与问题解决

Hotel Booking Reference Dataset

Hotel Booking Analysis Dataset

Green Taxi Dataset

对机器学习模型进行监控，能确保您的机器学习项目在长期内取得成功。监控本身可能很复杂，但有一些 Python 包可以帮助我们了解模型的实际表现、识别哪些数据发生了变化可能导致性能下降，并为如何让模型重回正轨提供线索。本课程将使用广受欢迎的监控包 nannyml，带您掌握在 Python 中构建基础监控系统所需的一切知识。


<h2>学习如何在 Python 中监控你的 ML 模型</h2>

监控机器学习模型可确保您的机器学习项目长期成功。 监控可能非常复杂，不过有一些 Python 包可以帮助我们了解模型的表现、哪些数据发生了变化并可能导致性能下降，以及为我们提供线索，帮助我们知道需要做什么才能让模型重回正轨。 本课程涵盖了使用流行的监控包 nannyml 在 Python 中构建基础监控系统所需了解的一切。

<h2>了解最佳监控工作流程</h2>

模型监控不仅仅是简单地计算模型在生产环境中的性能。 不幸的是，事情并没有那么简单。 尤其是在标签难以获得时。 本课程将向您介绍最佳监控工作流程。 它将确保你始终能够捕捉模型故障，避免告警疲劳，并快速找到问题的根本原因。

<h2>了解如何找出模型性能问题的根本原因</h2>

建模监控的另一个重要组成部分是根本原因分析。 本课程将深入讲解如何使用数据漂移检测技术来找出模型性能问题的根本原因。 您将学习如何使用单变量和多变量数据漂移检测技术，找出模型问题的潜在根本原因。



Monitoring Machine Learning Concepts

本课程涵盖在Python中构建基本机器学习监控系统所需的所有知识。

Python 中的机器学习监控

本课程涵盖在 Python 中构建基础机器学习监控系统所需的一切知识

处理已计算与已估计的结果

Create Your Free Account