Limites des tests par validation croisée
Vous pouvez définir des valeurs très élevées pour nfold et num_boost_round si vous souhaitez effectuer une validation croisée très poussée. Le cadre de données cv_results_big a déjà été chargé dans l'espace de travail et a été créé avec le code suivant :
cv = xgb.cv(params, DTrain, num_boost_round = 600, nfold=10,
shuffle = True)
Ici, cv() a réalisé 600 itérations de validation croisée ! Le paramètre shuffle indique à la fonction de mélanger les enregistrements à chaque fois.
Examinez ces données pour voir quelles sont les AUC et vérifiez si elles atteignent 1.0 avec la validation croisée. Vous devriez aussi tracer le score AUC du test pour voir l'évolution.
Le cadre de données cv_results_big a été chargé dans l'espace de travail.
Cette activité fait partie du cours
Modélisation du risque de crédit en Python
Instructions de l’exercice
- Affichez les cinq premières lignes du cadre de données des résultats de la validation croisée.
- Affichez la moyenne de l'AUC de l'ensemble de test à partir du cadre de données des résultats, arrondie à deux décimales.
- Tracez un graphique linéaire de l'AUC de l'ensemble de test au fil des itérations.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Print the first five rows of the CV results data frame
print(____.____())
# Calculate the mean of the test AUC scores
print(np.____(____[____]).round(2))
# Plot the test AUC scores for each iteration
plt.____(____[____])
plt.title('Test AUC Score Over 600 Iterations')
plt.xlabel('Iteration Number')
plt.ylabel('Test AUC Score')
plt.____()