Křížová validace jednoduchého modelu doby letu
Už máš za sebou několik modelů pro předpovídání doby letu a vyhodnotil/a jsi je pomocí jednoduchého rozdělení na trénovací a testovací sadu. Křížová validace ale nabízí mnohem lepší způsob, jak výkon modelu otestovat.
V tomto cvičení natrénuješ pomocí křížové validace jednoduchý model pro předpovídání doby letu. Cestovní čas obvykle silně koreluje se vzdáleností, takže samotný sloupec km by měl dát solidní model.
Data byla náhodně rozdělena na flights_train a flights_test.
Následující třídy jsou již naimportovány: LinearRegression, RegressionEvaluator, ParamGridBuilder a CrossValidator.
Toto cvičení je součástí kurzu
Machine Learning with PySpark
Pokyny k cvičení
- Vytvoř prázdnou mřížku parametrů.
- Vytvoř objekty pro sestavení a vyhodnocení modelu lineární regrese. Model by měl předpovídat pole "duration".
- Vytvoř objekt křížového validátoru. Zadej hodnoty pro argumenty
estimator,estimatorParamMapsaevaluator. Zvol 5-násobnou křížovou validaci. - Natrénuj a otestuj model napříč více záhyby trénovacích dat.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create an empty parameter grid
params = ____().____()
# Create objects for building and evaluating a regression model
regression = ____(____)
evaluator = ____(____)
# Create a cross validator
cv = ____(estimator=____, estimatorParamMaps=____, evaluator=____, ____)
# Train and test model on multiple folds of the training data
cv = cv.____(____)
# NOTE: Since cross-validation builds multiple models, the fit() method can take a little while to complete.