जब performance estimation ग़लत बैठती है

कल्पना कीजिए कि आप एक बैंक में data scientist हैं और loan default के use case पर काम कर रहे हैं। आपको हर महीने अपने मॉडल और performance estimation एल्गोरिदम को वैलिडेट करने के लिए लेबल मिलते हैं। एक विशेष महीने में, आप देखते हैं कि अच्छी तनख्वाह वाली नौकरियों वाले कई ग्राहक अधिक बार डिफ़ॉल्ट कर रहे हैं, क्योंकि महँगाई में तेज़ उछाल और उससे जुड़ा नौकरी संकट है।

जब आप estimated और realized performance की तुलना करते हैं, तो उनके बीच बड़ा अंतर दिखता है.

इस स्थिति में performance estimation एल्गोरिदम उतना प्रभावी क्यों नहीं है, इसका क्या कारण हो सकता है?