Model czasu lotu: model potokowy
Czas połączyć te etapy w jeden potok.
Zbudujesz potok, a następnie wytrenujesz go na danych treningowych. Każdy etap potoku zostanie zastosowany do danych treningowych po kolei. Żaden etap nie będzie miał dostępu do danych testowych – nie dojdzie do żadnego wycieku danych!
Po wytrenowaniu całego potoku użyjesz go do generowania predykcji na danych testowych.
Dane są dostępne jako flights – zbiór losowo podzielony na flights_train i flights_test.
To ćwiczenie jest częścią kursu
Uczenie maszynowe z PySpark
Instrukcje do ćwiczenia
- Zaimportuj klasę służącą do tworzenia potoku.
- Utwórz obiekt potoku i podaj etapy
indexer,onehot,assemblerorazregressionw tej kolejności. - Wytrenuj potok na danych treningowych.
- Wygeneruj predykcje na danych testowych.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)