Zboruri întârziate cu un Random Forest

În acest exercițiu vei combina validarea încrucișată cu metodele de ansamblu. Vei antrena un clasificator Random Forest pentru a prezice zborurile întârziate, folosind validarea încrucișată pentru a alege cele mai bune valori ale parametrilor modelului.

Vei identifica valori optime pentru următorii parametri:

featureSubsetStrategy — numărul de caracteristici luate în considerare la fiecare divizare a nodului și
maxDepth — numărul maxim de divizări de-a lungul oricărei ramuri.

Din păcate, construirea acestui model durează prea mult, așa că nu vom rula metoda .fit() pe pipeline.

Clasa RandomForestClassifier a fost deja importată în sesiune.

Acest exercițiu face parte din cursul

Machine Learning cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Creează un obiect clasificator de tip random forest.
Creează un obiect pentru construirea grilei de parametri. Adaugă puncte în grilă pentru parametrii featureSubsetStrategy și maxDepth.
Creează un evaluator pentru clasificare binară.
Creează un obiect de tip cross-validator, specificând estimatorul, grila de parametri și evaluatorul. Alege validarea încrucișată cu 5 fold-uri.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create a random forest classifier
forest = ____()

# Create a parameter grid
params = ____() \
            .____(____, ['all', 'onethird', 'sqrt', 'log2']) \
            .____(____, [2, 5, 10]) \
            .____()

# Create a binary classification evaluator
evaluator = ____()

# Create a cross-validator
cv = ____(____, ____, ____, ____)

Editează și rulează codul