モデルのパフォーマンス監視は、本番環境への成功なデプロイに欠かせません。しかし、現実のアプリケーションでは、正解データが遅れて届いたり、存在しなかったりするため、難しくなることがあります。
この演習では、本番環境でのパフォーマンス監視に関して、正しい内容と誤りの内容を分類します。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
第1章では、なぜビジネスで本番環境の Machine Learning モデルをモニタリングする必要があるのかを説明します。理想的なモニタリングのワークフローとその手順、そして本番環境でモニタリングシステムが直面しうる課題について学びます。
第2章では、信頼できるモニタリングシステムにおけるパフォーマンス監視の重要性を学びます。現実の本番環境でよく直面する課題、たとえばグラウンドトゥルースの入手可能性について掘り下げます。章の終わりには、グラウンドトゥルースのデータが遅れて到着する場合や存在しない場合でも、パフォーマンス推定アルゴリズムを使って対処できるようになります。
現在の演習
本番環境における共変量シフトとコンセプトドリフトの基本を押さえたら、もう少し踏み込んでいきましょう。この章の終わりには、現実のシナリオでそれらを検知し、対処するさまざまな方法が分かるようになります。
