Model pentru durata zborului: model Pipeline
Acum ești pregătit să combini acele etape într-un pipeline.
Vei construi pipeline-ul și apoi îl vei antrena pe datele de antrenament. Astfel, fiecare etapă din pipeline va fi aplicată pe rând datelor de antrenament. Nicio etapă nu va avea acces la datele de testare: nu va exista nicio scurgere de informații!
Odată ce întregul pipeline a fost antrenat, acesta va fi folosit pentru a face predicții pe datele de testare.
Datele sunt disponibile sub forma flights, care a fost împărțit aleatoriu în flights_train și flights_test.
Acest exercițiu face parte din cursul
Machine Learning cu PySpark
Instrucțiuni pentru exercițiu
- Importă clasa pentru crearea unui pipeline.
- Creează un obiect pipeline și specifică etapele
indexer,onehot,assemblerșiregression, în această ordine. - Antrenează pipeline-ul pe datele de antrenament.
- Fă predicții pe datele de testare.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)