Modelul duratei zborului: Adăugarea aeroportului de origine
Unele aeroporturi sunt mai aglomerate decât altele, iar altele sunt pur și simplu mai mari. Zborurile care pleacă din aeroporturi mari sau aglomerate tind să petreacă mai mult timp pe pistă sau așteptând slotul de decolare. Prin urmare, durata unui zbor poate depinde nu doar de distanța parcursă, ci și de aeroportul din care decolează.
Vei face modelul de regresie puțin mai sofisticat, incluzând aeroportul de plecare ca predictor.
Datele au fost împărțite în seturi de antrenament și de testare, disponibile sub numele flights_train și flights_test. Aeroportul de origine, stocat în coloana org, a fost indexat în org_idx, care la rândul său a fost codificat prin one-hot encoding în org_dummy. Primele înregistrări sunt afișate în terminal.
Acest exercițiu face parte din cursul
Machine Learning cu PySpark
Instrucțiuni pentru exercițiu
- Antrenează un model de regresie liniară pe datele de antrenament.
- Generează predicții pentru datele de testare.
- Calculează RMSE pentru predicțiile de pe datele de testare.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
# Create a regression object and train on training data
regression = ____(____).____(____)
# Create predictions for the testing data
predictions = ____.____(____)
# Calculate the RMSE on testing data
____(____).____(____)