Modèle de durée de vol : plus de caractéristiques !
Ajoutons plus de caractéristiques à notre modèle. Cela ne donnera pas nécessairement un meilleur modèle. L'ajout de certaines caractéristiques peut l'améliorer, alors que d'autres peuvent l'empirer.
Plus de caractéristiques rendent toujours le modèle plus complexe et plus difficile à interpréter.
Voici les caractéristiques que vous allez inclure dans le prochain modèle :
kmorg(aéroport d'origine, codage one-hot, 8 niveaux)depart(heure de départ, regroupée en intervalles de 3 heures, codage one-hot, 8 niveaux)dow(jour de la semaine du départ, codage one-hot, 7 niveaux) etmon(mois du départ, codage one-hot, 12 niveaux).
Elles ont été assemblées dans la colonne features, qui est une représentation clairsemée de 32 colonnes (rappelez-vous que le codage one-hot produit un nombre de colonnes égal au nombre de niveaux moins un).
Les données sont disponibles sous le nom flights, divisées aléatoirement en flights_train et flights_test.
Cet exercice est basé sur un petit sous-ensemble des données de vols.
Cette activité fait partie du cours
Machine Learning avec PySpark
Instructions de l’exercice
- Ajustez un modèle de régression linéaire sur les données d'entraînement.
- Générez des prédictions pour les données de test.
- Calculez la RMSE sur les données de test.
- Examinez les coefficients du modèle. Y en a-t-il qui sont à zéro ?
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from pyspark.ml.regression import ____
from pyspark.ml.evaluation import ____
# Fit linear regression model to training data
regression = ____(____).____(____)
# Make predictions on testing data
predictions = regression.____(____)
# Calculate the RMSE on testing data
rmse = ____(____).____(____)
print("The test RMSE is", rmse)
# Look at the model coefficients
coeffs = regression.____
print(coeffs)