Model pentru durata zborului: etapele pipeline-ului
Vei crea etapele pentru pipeline-ul modelului de durată a zborurilor. Le vei folosi în exercițiul următor pentru a construi un pipeline și a antrena un model de regresie.
Clasele StringIndexer, OneHotEncoder, VectorAssembler și LinearRegression sunt deja importate.
Acest exercițiu face parte din cursul
Machine Learning cu PySpark
Instrucțiuni pentru exercițiu
- Creează un indexer pentru a converti coloana 'org' într-o coloană indexată numită 'org_idx'.
- Creează un encoder one-hot pentru a converti coloanele 'org_idx' și 'dow' în coloane de variabile dummy numite 'org_dummy' și 'dow_dummy'.
- Creează un assembler care va combina coloana 'km' cu cele două coloane de variabile dummy. Coloana de ieșire trebuie să se numească 'features'.
- Creează un obiect de regresie liniară pentru a prezice durata zborului.
Poate fi util să reexaminezi slide-urile din lecții, disponibile în panoul Slide-uri de lângă IPython Shell.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Convert categorical strings to index values
indexer = ____(____)
# One-hot encode index values
onehot = ____(
inputCols=____,
outputCols=____
)
# Assemble predictors into a single column
assembler = ____(inputCols=____, outputCol=____)
# A linear regression object
regression = ____(labelCol=____)