Modelul duratei zborului: Mai multe caracteristici!
Să adăugăm mai multe caracteristici modelului nostru. Acest lucru nu va duce neapărat la un model mai bun. Unele caracteristici pot îmbunătăți modelul, altele îl pot înrăutăți.
Mai multe caracteristici vor face întotdeauna modelul mai complex și mai greu de interpretat.
Iată caracteristicile pe care le vei include în următorul model:
kmorg(aeroportul de plecare, codificat one-hot, 8 niveluri)depart(ora de plecare, grupată în intervale de 3 ore, codificată one-hot, 8 niveluri)dow(ziua săptămânii la plecare, codificată one-hot, 7 niveluri) șimon(luna plecării, codificată one-hot, 12 niveluri).
Acestea au fost asamblate în coloana features, care reprezintă o reprezentare rară a 32 de coloane (ține minte că one-hot encoding produce un număr de coloane egal cu numărul de niveluri minus unu).
Datele sunt disponibile ca flights, împărțite aleatoriu în flights_train și flights_test.
Acest exercițiu se bazează pe un subset redus al datelor despre zboruri.
Acest exercițiu face parte din cursul
Machine Learning cu PySpark
Instrucțiuni pentru exercițiu
- Antrenează un model de regresie liniară pe datele de antrenament.
- Generează predicții pentru datele de testare.
- Calculează RMSE-ul pe datele de testare.
- Analizează coeficienții modelului. Există vreunul egal cu zero?
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
from pyspark.ml.regression import ____
from pyspark.ml.evaluation import ____
# Fit linear regression model to training data
regression = ____(____).____(____)
# Make predictions on testing data
predictions = regression.____(____)
# Calculate the RMSE on testing data
rmse = ____(____).____(____)
print("The test RMSE is", rmse)
# Look at the model coefficients
coeffs = regression.____
print(coeffs)