Leave-one-out-cross-validation
मान लीजिए आपकी पसंदीदा कैंडी इस candy डेटासेट में नहीं है, और आप उसकी पॉपुलैरिटी जानना चाहते हैं. 5-fold cross-validation का उपयोग करने पर हर बार केवल 80% डेटा पर ट्रेनिंग होगी. लेकिन candy डेटासेट में सिर्फ 85 पंक्तियाँ हैं, और 20% डेटा छोड़ना हमारे मॉडल में बाधा डाल सकता है. हालाँकि, leave-one-out-cross-validation (LOOCV) का उपयोग करके हम सीमित डेटासेट का अधिकतम लाभ उठा सकते हैं और आपकी पसंदीदा कैंडी की पॉपुलैरिटी का सबसे बेहतर अनुमान पा सकते हैं!
इस अभ्यास में, आप LOOCV करने के लिए cross_val_score() का उपयोग करेंगे.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में Model Validation
अभ्यास निर्देश
cross_val_score()के लिएmean_absolute_errorका उपयोग करके एक स्कोरर बनाएँ.cross_val_score()को इस तरह भरें कि मॉडलrfr, नया परिभाषितmae_scorer, और LOOCV उपयोग हों.numpy(जिसेnpके रूप में लोड किया गया है) का उपयोग करकेscoresका mean और standard deviation प्रिंट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from sklearn.metrics import mean_absolute_error, make_scorer
# Create scorer
mae_scorer = ____(____)
rfr = RandomForestRegressor(n_estimators=15, random_state=1111)
# Implement LOOCV
scores = cross_val_score(____, X=X, y=y, cv=____, scoring=____)
# Print the mean and standard deviation
print("The mean of the errors is: %s." % np.____(____))
print("The standard deviation of the errors is: %s." % np.____(____))