NannyML には、モデルの技術的なパフォーマンスを推定するために、scikit-learn に似た再現可能なワークフローが用意されています。
提示された擬似コードを、CBPE アルゴリズムの初期化、パフォーマンスの推定、その可視化の順になるよう並べ替えてください。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、NannyMLライブラリとその基本機能を紹介します。まず、生データを加工して、運用モニタリングに使える参照データセットと分析データセットを作成する手順を学びます。実践例として、ニューヨークのタクシー乗車におけるチップ金額の予測に取り組みます。章の最後では、NannyMLを使ってチップ予測モデルの性能を推定する方法も学びます。
現在の演習
この章では、正解ラベルが利用可能になったときに使う実測性能計算ツールを紹介します。結果の扱い方として、フィルタリング、可視化、データフレームへの変換、チャンク化、独自しきい値の設定といった、より高度な方法を学びます。最後に、ホテル予約データセットで学習したモデルを題材に、ビジネス価値の計算にこの知識を適用します。
ホテル予約モデルで性能低下を検知したうえで、その原因となる根本的な問題の特定方法を学びます。この章では、多変量および単変量のドリフト検知手法を紹介します。さらに、データ品質の問題を特定する方法と、見つかった根本原因への対処法も学びます。
