Avaliar a árvore de decisão
Você pode avaliar a qualidade do seu modelo avaliando o desempenho dele nos dados de teste. Como o modelo não foi treinado com esses dados, isso representa uma avaliação objetiva do modelo.
Uma matriz de confusão fornece um detalhamento útil das previsões em relação aos valores conhecidos. Ele tem quatro células que representam as contagens de:
- True Negatives (TN) - o modelo prevê um resultado negativo e o resultado conhecido é negativo
- True Positives (TP) - o modelo prevê um resultado positivo e o resultado conhecido é positivo
- Falsos negativos (FN) - o modelo prevê um resultado negativo, mas o resultado conhecido é positivo
- Falsos positivos (FP) - o modelo prevê um resultado positivo, mas o resultado conhecido é negativo.
Essas contagens (TN, TP, FN e FP) devem somar o número de registros nos dados de teste, que é apenas um subconjunto dos dados dos voos. Você pode comparar com o número de registros nos dados de teste, que é flights_test.count().
Observação: Essas previsões são feitas nos dados de teste, portanto, as contagens são menores do que seriam para as previsões nos dados de treinamento.
Este exercício faz parte do curso
Aprendizado de máquina com PySpark
Instruções de exercício
- Crie uma matriz de confusão contando as combinações de
labeleprediction. Exibir o resultado. - Conte o número de Verdadeiros Negativos, Verdadeiros Positivos, Falsos Negativos e Falsos Positivos.
- Calcule a precisão.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Create a confusion matrix
prediction.groupBy(____, 'prediction').____().____()
# Calculate the elements of the confusion matrix
TN = prediction.filter('prediction = 0 AND label = prediction').count()
TP = prediction.____('____ AND ____').____()
FN = prediction.____('____ AND ____').____()
FP = prediction.____('____ AND ____').____()
# Accuracy measures the proportion of correct predictions
accuracy = ____
print(accuracy)