Voos atrasados com árvores com reforço gradiente
Você criou anteriormente um classificador para voos com probabilidade de atraso usando uma árvore de decisão. Neste exercício, você comparará um modelo de Árvore de Decisão com um modelo de Árvore Gradient-Boosted.
Os dados dos voos foram divididos aleatoriamente em flights_train e flights_test.
Este exercício faz parte do curso
Aprendizado de máquina com PySpark
Instruções de exercício
- Importe as classes necessárias para criar classificadores de Árvore de decisão e Árvore com reforço gradiente.
- Crie classificadores de árvore de decisão e de árvore com reforço gradual. Treine com os dados de treinamento.
- Crie um avaliador e calcule AUC nos dados de teste para ambos os classificadores. Qual modelo tem melhor desempenho?
- Para o classificador Gradient-Boosted Tree, imprima o número de árvores e a importância relativa dos recursos.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Import the classes required
from pyspark.ml.____ import ____, ____
from pyspark.ml.evaluation import BinaryClassificationEvaluator
# Create model objects and train on training data
tree = ____().____(____)
gbt = ____().____(____)
# Compare AUC on testing data
evaluator = ____()
print(evaluator.____(tree.____(____)))
print(evaluator.____(gbt.____(____)))
# Find the number of trees and the relative importance of features
print(gbt.____)
print(gbt.____)