この章では、NannyMLライブラリとその基本機能を紹介します。まず、生データを加工して、運用モニタリングに使える参照データセットと分析データセットを作成する手順を学びます。実践例として、ニューヨークのタクシー乗車におけるチップ金額の予測に取り組みます。章の最後では、NannyMLを使ってチップ予測モデルの性能を推定する方法も学びます。

NannyML とは何ですか？

NannyML の主な機能

データセットを読み込む

NannyML のためのデータ準備

リファレンス期間か分析期間か？

データの読み込みと分割

リファレンスセットと分析セットの作成

パフォーマンス推定

アルゴリズムと問題タイプを指定する

結果を読み解く

CBPE と DLE のワークフロー

チップ予測のパフォーマンス推定

データ準備と性能推定

この章では、正解ラベルが利用可能になったときに使う実測性能計算ツールを紹介します。結果の扱い方として、フィルタリング、可視化、データフレームへの変換、チャンク化、独自しきい値の設定といった、より高度な方法を学びます。最後に、ホテル予約データセットで学習したモデルを題材に、ビジネス価値の計算にこの知識を適用します。

ラベルが利用できるとき

パフォーマンス推定が外れるとき

推定値と実測パフォーマンスの比較

計算済みの結果と推定結果を扱う

異なるチャンク方法

しきい値を変更する

結果と対話する

ビジネス価値の計算と推定

ビジネス価値の計算

金銭的価値の低下

ホテル予約データセットでのビジネス価値の計算

性能モニタリングとビジネス価値

ホテル予約モデルで性能低下を検知したうえで、その原因となる根本的な問題の特定方法を学びます。この章では、多変量および単変量のドリフト検知手法を紹介します。さらに、データ品質の問題を特定する方法と、見つかった根本原因への対処法も学びます。

多変量ドリフト検知

ホテル予約データセットにおけるドリフト

単変量ドリフト検知

ホテル予約データセットの単変量ドリフト検出

単変量の結果をランキングする

ドリフトしている特徴量を可視化する

データ品質と統計チェック

データ品質チェック

要約統計量

問題の解決

どの対応が適切ですか？

何もしないでよいでしょうか？

モニタリングワークフローの実装

おめでとうございます

原因分析と問題解決

Hotel Booking Reference Dataset

Hotel Booking Analysis Dataset

Green Taxi Dataset

機械学習モデルを継続的にモニタリングすることは、プロジェクトを長期的に成功へ導くために重要です。モニタリングは複雑になりがちですが、Pythonにはモデルの動作状況を把握し、どのデータの変化が性能低下につながったのかを特定し、モデルを立て直すための手がかりを与えてくれるパッケージがあります。本コースでは、人気のモニタリングパッケージであるnannymlを用いて、Pythonで基本的なモニタリングシステムを構築するために必要な知識を一通り学びます。


Monitoring Machine Learning Concepts

このコースは、Pythonで基本的な機械学習監視システムを構築するための知識を提供します。

Pythonで学ぶ機械学習のモニタリング

Pythonで基本的な機械学習モニタリングシステムを構築するために必要な知識を一通り学べます

機械学習エンジニア

本番環境における機械学習 Pythonで

Data Scientist

モデルのビジネス価値

混同行列

ビジネス価値の算出式

ラベルがある場合

ラベルがない場合

練習しましょう！

性能モニタリングとビジネス価値 - ビジネス価値の計算と推定

ビジネス価値の計算と推定

Create Your Free Account