Den Decision Tree auswerten
Du kannst die Qualität deines Modells beurteilen, indem du misst, wie gut es auf den Testdaten abschneidet. Da das Modell nicht mit diesen Daten trainiert wurde, ist das eine objektive Beurteilung des Modells.
Eine Confusion Matrix liefert eine hilfreiche Aufschlüsselung von Vorhersagen gegenüber bekannten Werten. Sie hat vier Felder, die die Anzahlen folgender Fälle darstellen:
- True Negatives (TN) — Modell sagt ein negatives Ergebnis voraus und das bekannte Ergebnis ist negativ
- True Positives (TP) — Modell sagt ein positives Ergebnis voraus und das bekannte Ergebnis ist positiv
- False Negatives (FN) — Modell sagt ein negatives Ergebnis voraus, aber das bekannte Ergebnis ist positiv
- False Positives (FP) — Modell sagt ein positives Ergebnis voraus, aber das bekannte Ergebnis ist negativ.
Diese Anzahlen (TN, TP, FN und FP) sollten zur Anzahl der Einträge in den Testdaten aufsummieren, die nur eine Teilmenge der Flugdaten sind. Du kannst mit der Anzahl der Einträge in den Testdaten vergleichen: flights_test.count().
Hinweis: Diese Vorhersagen werden auf den Testdaten gemacht, daher sind die Anzahlen kleiner, als sie bei Vorhersagen auf den Trainingsdaten wären.
Diese Übung ist Teil des Kurses
<Kurs>Maschinelles Lernen mit PySpark</Kurs>Übungsanweisungen
- Erstelle eine Confusion Matrix, indem du die Kombinationen aus
labelundpredictionzählst. Zeige das Ergebnis an. - Zähle die Anzahl der True Negatives, True Positives, False Negatives und False Positives.
- Berechne die Accuracy.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Create a confusion matrix
prediction.groupBy(____, 'prediction').____().____()
# Calculate the elements of the confusion matrix
TN = prediction.filter('prediction = 0 AND label = prediction').count()
TP = prediction.____('____ AND ____').____()
FN = prediction.____('____ AND ____').____()
FP = prediction.____('____ AND ____').____()
# Accuracy measures the proportion of correct predictions
accuracy = ____
print(accuracy)