モデル監視のケーススタディ

この最終演習では、Model Monitoring の節で扱った複数の観点が絡む複雑なシナリオに取り組みます。状況を分析し、適切な手順を特定して、正しい順序に並べることで、学んだ概念の理解を示してください。

提示されたシナリオを読み、以下の手順を正しい順序に並べ替えてください。この演習は、現実的で複雑な状況を分析し、本章で身につけた知識を適用する力を確認するためのものです。

シナリオ: あなたはヘルステック企業の machine learning エンジニアです。チームは最近、本番環境に心疾患を予測する二値分類モデルの PoC をデプロイし、エンドユーザーに提供し始めました。数週間後、予測に一貫性がなく、システムのパフォーマンスが低下しているように見えます。最近のデータで不正確な結果が出たと報告するユーザーもいます。あなたはモデルを監視し、正確で有用な推奨を継続的に提供できるようにするよう求められています。