Machine Learning モデルを本番環境にデプロイすると、インフラ全体は正常でも、明確な兆候がないまま静かに失敗することがあります。こうした不具合は、covariate shift または concept drift が原因で発生します。
この2つの問題の特徴を思い出せますか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
第1章では、なぜビジネスで本番環境の Machine Learning モデルをモニタリングする必要があるのかを説明します。理想的なモニタリングのワークフローとその手順、そして本番環境でモニタリングシステムが直面しうる課題について学びます。
現在の演習
第2章では、信頼できるモニタリングシステムにおけるパフォーマンス監視の重要性を学びます。現実の本番環境でよく直面する課題、たとえばグラウンドトゥルースの入手可能性について掘り下げます。章の終わりには、グラウンドトゥルースのデータが遅れて到着する場合や存在しない場合でも、パフォーマンス推定アルゴリズムを使って対処できるようになります。
本番環境における共変量シフトとコンセプトドリフトの基本を押さえたら、もう少し踏み込んでいきましょう。この章の終わりには、現実のシナリオでそれらを検知し、対処するさまざまな方法が分かるようになります。
