Validare încrucișată pentru un model simplu de durată a zborului
Ai construit deja câteva modele pentru prezicerea duratei zborurilor și le-ai evaluat cu o simplă împărțire în seturi de antrenament și testare. Totuși, validarea încrucișată oferă o metodă mult mai bună de evaluare a performanței modelului.
În acest exercițiu vei antrena un model simplu pentru durata zborului folosind validarea încrucișată. Timpul de călătorie este, de obicei, puternic corelat cu distanța, așa că folosind doar coloana km ar trebui să obții un model decent.
Datele au fost împărțite aleatoriu în flights_train și flights_test.
Următoarele clase au fost deja importate: LinearRegression, RegressionEvaluator, ParamGridBuilder și CrossValidator.
Acest exercițiu face parte din cursul
Machine Learning cu PySpark
Instrucțiuni pentru exercițiu
- Creează o grilă de parametri goală.
- Creează obiecte pentru construirea și evaluarea unui model de regresie liniară. Modelul trebuie să prezică câmpul "duration".
- Creează un obiect de tip cross-validator. Furnizează valori pentru argumentele
estimator,estimatorParamMapsșievaluator. Alege validarea încrucișată cu 5 pliuri. - Antrenează și testează modelul pe mai multe pliuri ale datelor de antrenament.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Create an empty parameter grid
params = ____().____()
# Create objects for building and evaluating a regression model
regression = ____(____)
evaluator = ____(____)
# Create a cross validator
cv = ____(estimator=____, estimatorParamMaps=____, evaluator=____, ____)
# Train and test model on multiple folds of the training data
cv = cv.____(____)
# NOTE: Since cross-validation builds multiple models, the fit() method can take a little while to complete.