Затримані рейси з Gradient-Boosted Trees
Раніше ви створили класифікатор для визначення рейсів, що ймовірно затримаються, використовуючи Decision Tree. У цій вправі ви порівняєте модель Decision Tree з моделлю Gradient-Boosted Trees.
Дані про рейси випадково розділено на flights_train і flights_test.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Імпортуйте класи, потрібні для створення класифікаторів Decision Tree і Gradient-Boosted Tree.
- Створіть класифікатори Decision Tree і Gradient-Boosted Tree. Навчіть їх на тренувальних даних.
- Створіть засіб оцінювання та обчисліть AUC на тестових даних для обох класифікаторів. Яка модель працює краще?
- Для класифікатора Gradient-Boosted Tree виведіть кількість дерев і відносну важливість ознак.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import the classes required
from pyspark.ml.____ import ____, ____
from pyspark.ml.evaluation import BinaryClassificationEvaluator
# Create model objects and train on training data
tree = ____().____(____)
gbt = ____().____(____)
# Compare AUC on testing data
evaluator = ____()
print(evaluator.____(tree.____(____)))
print(evaluator.____(gbt.____(____)))
# Find the number of trees and the relative importance of features
print(gbt.____)
print(gbt.____)