前の動画では、NannyML が扱う2つのデータ期間、リファレンス期間と分析期間について学びました。これらの期間を正しく理解することは、本番環境での性能や共変量シフトを監視する前提としてとても重要です。
それでは、記憶を確かめましょう。各期間の特徴を思い出せますか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、NannyMLライブラリとその基本機能を紹介します。まず、生データを加工して、運用モニタリングに使える参照データセットと分析データセットを作成する手順を学びます。実践例として、ニューヨークのタクシー乗車におけるチップ金額の予測に取り組みます。章の最後では、NannyMLを使ってチップ予測モデルの性能を推定する方法も学びます。
現在の演習
この章では、正解ラベルが利用可能になったときに使う実測性能計算ツールを紹介します。結果の扱い方として、フィルタリング、可視化、データフレームへの変換、チャンク化、独自しきい値の設定といった、より高度な方法を学びます。最後に、ホテル予約データセットで学習したモデルを題材に、ビジネス価値の計算にこの知識を適用します。
ホテル予約モデルで性能低下を検知したうえで、その原因となる根本的な問題の特定方法を学びます。この章では、多変量および単変量のドリフト検知手法を紹介します。さらに、データ品質の問題を特定する方法と、見つかった根本原因への対処法も学びます。
