Opóźnione loty z użyciem Gradient-Boosted Trees
Wcześniej zbudowałeś klasyfikator wykrywający loty narażone na opóźnienia, korzystając z drzewa decyzyjnego. W tym ćwiczeniu porównasz model oparty na drzewie decyzyjnym z modelem Gradient-Boosted Trees.
Dane o lotach zostały losowo podzielone na zbiory flights_train i flights_test.
To ćwiczenie jest częścią kursu
Uczenie maszynowe z PySpark
Instrukcje do ćwiczenia
- Zaimportuj klasy potrzebne do utworzenia klasyfikatorów: drzewa decyzyjnego i Gradient-Boosted Trees.
- Utwórz oba klasyfikatory i wytrenuj je na danych treningowych.
- Utwórz obiekt ewaluatora i oblicz AUC na danych testowych dla obu klasyfikatorów. Który model wypada lepiej?
- Dla klasyfikatora Gradient-Boosted Trees wyświetl liczbę drzew oraz względną ważność cech.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import the classes required
from pyspark.ml.____ import ____, ____
from pyspark.ml.evaluation import BinaryClassificationEvaluator
# Create model objects and train on training data
tree = ____().____(____)
gbt = ____().____(____)
# Compare AUC on testing data
evaluator = ____()
print(evaluator.____(tree.____(____)))
print(evaluator.____(gbt.____(____)))
# Find the number of trees and the relative importance of features
print(gbt.____)
print(gbt.____)