Model doby letu: pipeline model
Teď je čas propojit všechny fáze dohromady do pipeline.
Sestavíš pipeline a pak ji natrénuješ na trénovacích datech. Každá fáze pipeline se postupně aplikuje na trénovací data. Testovací data nebudou v průběhu trénování vůbec použita – žádný únik dat nenastane!
Jakmile bude celá pipeline natrénovaná, použiješ ji k předpovědím na testovacích datech.
Data jsou dostupná jako flights, která byla náhodně rozdělena na flights_train a flights_test.
Toto cvičení je součástí kurzu
Machine Learning with PySpark
Pokyny k cvičení
- Importuj třídu pro vytvoření pipeline.
- Vytvoř objekt pipeline a zadej fáze
indexer,onehot,assembleraregressionv tomto pořadí. - Natrénuj pipeline na trénovacích datech.
- Proveď předpovědi na testovacích datech.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)