現在、あなたは本番環境におり、モデルは稼働中です。
与えられたグラフに基づき、F1スコアのアラート付き低下とモデルのビジネス価値のアラート付き低下が重なって発生している日を特定してください。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、NannyMLライブラリとその基本機能を紹介します。まず、生データを加工して、運用モニタリングに使える参照データセットと分析データセットを作成する手順を学びます。実践例として、ニューヨークのタクシー乗車におけるチップ金額の予測に取り組みます。章の最後では、NannyMLを使ってチップ予測モデルの性能を推定する方法も学びます。
この章では、正解ラベルが利用可能になったときに使う実測性能計算ツールを紹介します。結果の扱い方として、フィルタリング、可視化、データフレームへの変換、チャンク化、独自しきい値の設定といった、より高度な方法を学びます。最後に、ホテル予約データセットで学習したモデルを題材に、ビジネス価値の計算にこの知識を適用します。
現在の演習
ホテル予約モデルで性能低下を検知したうえで、その原因となる根本的な問題の特定方法を学びます。この章では、多変量および単変量のドリフト検知手法を紹介します。さらに、データ品質の問題を特定する方法と、見つかった根本原因への対処法も学びます。
