Utiliser les meilleurs résultats
Analyser les résultats de notre grid search, c'est intéressant, mais notre objectif final est pratique : nous voulons faire des prédictions sur notre ensemble de test avec notre objet estimateur.
Nous pouvons accéder à cet objet via la propriété best_estimator_ de notre objet de grid search.
Jetons un coup d'œil à la propriété best_estimator_, faisons des prédictions et générons des mesures d'évaluation. Nous allons d'abord utiliser la méthode par défaut predict (qui produit des classes), puis nous devrons utiliser predict_proba plutôt que predict pour calculer le score roc-auc, puisque roc-auc a besoin de probabilités pour son calcul. Nous utilisons une tranche [:,1] pour obtenir les probabilités de la classe positive.
Vous avez à votre disposition les jeux de données X_test et y_test, ainsi que l'objet grid_rf_class des exercices précédents.
Cette activité fait partie du cours
Ajustement des hyperparamètres en Python
Instructions de l’exercice
- Vérifiez le type de la propriété
best_estimator_. - Utilisez la propriété
best_estimator_pour faire des prédictions sur notre ensemble de test. - Générez une matrice de confusion et un score ROC_AUC à partir de nos prédictions.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# See what type of object the best_estimator_ property is
print(____(____.____))
# Create an array of predictions directly using the best_estimator_ property
predictions = grid_rf_class.____._____(X_test)
# Take a look to confirm it worked, this should be an array of 1's and 0's
print(predictions[0:5])
# Now create a confusion matrix
print("Confusion Matrix \n", confusion_matrix(y_test, ______))
# Get the ROC-AUC score
predictions_proba = grid_rf_class.best_estimator_.predict_proba(X_test)[:,1]
print("ROC-AUC Score \n", roc_auc_score(y_test, _____))