Évaluer l'arbre de décision

Vous pouvez évaluer la qualité de votre modèle en mesurant ses performances sur les données de test. Comme le modèle n'a pas été entraîné sur ces données, cela constitue une évaluation objective du modèle.

Une matrice de confusion donne une répartition utile des prédictions par rapport aux valeurs connues. Elle comporte quatre cases qui représentent les décomptes de :

Vrais négatifs (TN) — le modèle prédit un résultat négatif et le résultat connu est négatif
Vrais positifs (TP) — le modèle prédit un résultat positif et le résultat connu est positif
Faux négatifs (FN) — le modèle prédit un résultat négatif alors que le résultat connu est positif
Faux positifs (FP) — le modèle prédit un résultat positif alors que le résultat connu est négatif.

Ces décomptes (TN, TP, FN et FP) doivent sommer au nombre d'enregistrements dans les données de test, qui ne sont qu'un sous-ensemble des données de vols. Vous pouvez comparer avec le nombre d'enregistrements dans les données de test, soit flights_test.count().

Remarque : Ces prédictions sont effectuées sur les données de test ; les décomptes sont donc plus faibles que s'il s'agissait de prédictions sur les données d'entraînement.

Cet exercice fait partie du cours

<cours>Apprentissage automatique avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Créez une matrice de confusion en comptant les combinaisons de label et prediction. Affichez le résultat.
Comptez le nombre de vrais négatifs, vrais positifs, faux négatifs et faux positifs.
Calculez la précision.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create a confusion matrix
prediction.groupBy(____, 'prediction').____().____()

# Calculate the elements of the confusion matrix
TN = prediction.filter('prediction = 0 AND label = prediction').count()
TP = prediction.____('____ AND ____').____()
FN = prediction.____('____ AND ____').____()
FP = prediction.____('____ AND ____').____()

# Accuracy measures the proportion of correct predictions
accuracy = ____
print(accuracy)

Modifier et exécuter le code