Çapraz doğrulama testinin sınırları
Aşırı miktarda çapraz doğrulama yapmak istersen, hem nfold hem de num_boost_round için çok büyük sayılar belirleyebilirsin. cv_results_big veri çerçevesi çalışma alanına önceden yüklendi ve aşağıdaki kodla oluşturuldu:
cv = xgb.cv(params, DTrain, num_boost_round = 600, nfold=10,
shuffle = True)
Burada, cv() tam 600 çapraz doğrulama iterasyonu gerçekleştirdi! shuffle parametresi, her seferinde kayıtların karıştırılacağını belirtir.
Bu veriye bakarak AUC değerlerini incele ve çapraz doğrulama ile 1.0 değerine ulaşıp ulaşmadıklarını kontrol et. Ayrıca ilerlemeyi görmek için test AUC skorunu da görselleştirmelisin.
cv_results_big veri çerçevesi çalışma alanına yüklendi.
Bu egzersiz, kursun bir parçasıdır
Python ile Kredi Riski Modellemesi
Egzersiz talimatları
- CV sonuçları veri çerçevesinin ilk beş satırını yazdır.
- CV sonuçları veri çerçevesinden test seti AUC ortalamasını iki basamağa yuvarlanmış şekilde yazdır.
- Her iterasyon boyunca test seti AUC’nin çizgi grafiğini çiz.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Print the first five rows of the CV results data frame
print(____.____())
# Calculate the mean of the test AUC scores
print(np.____(____[____]).round(2))
# Plot the test AUC scores for each iteration
plt.____(____[____])
plt.title('Test AUC Score Over 600 Iterations')
plt.xlabel('Iteration Number')
plt.ylabel('Test AUC Score')
plt.____()