パフォーマンス推定が外れるとき

あなたは銀行でローン延滞のユースケースに取り組むデータサイエンティストだと想像してください。毎月、モデルとパフォーマンス推定アルゴリズムを検証するためのラベルを受け取っています。ある月、インフレの急騰とそれに伴う雇用危機の影響で、高収入の職業に就く多くの顧客が延滞するケースが増えていることに気づきました。

推定したパフォーマンスと実測のパフォーマンスを比較すると、両者の間に大きな乖離が見られます。

この状況でパフォーマンス推定アルゴリズムが十分に効果を発揮しないのは、なぜだと考えられますか？