音楽ストリーミング企業のデータサイエンティストとして、解約の可能性があるユーザーを検知するモデルを開発しました。開発時点ではユーザーの大半が若年層で、50歳超はわずか1%でした。しかし本番環境にデプロイした後、50歳超のユーザー比率が20%に増加していることに気付きました。
この変化は何と呼ばれ、性能にはどのような影響がありますか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
第1章では、なぜビジネスで本番環境の Machine Learning モデルをモニタリングする必要があるのかを説明します。理想的なモニタリングのワークフローとその手順、そして本番環境でモニタリングシステムが直面しうる課題について学びます。
第2章では、信頼できるモニタリングシステムにおけるパフォーマンス監視の重要性を学びます。現実の本番環境でよく直面する課題、たとえばグラウンドトゥルースの入手可能性について掘り下げます。章の終わりには、グラウンドトゥルースのデータが遅れて到着する場合や存在しない場合でも、パフォーマンス推定アルゴリズムを使って対処できるようになります。
現在の演習
本番環境における共変量シフトとコンセプトドリフトの基本を押さえたら、もう少し踏み込んでいきましょう。この章の終わりには、現実のシナリオでそれらを検知し、対処するさまざまな方法が分かるようになります。
