Assembler des colonnes

La dernière étape de la préparation des données consiste à regrouper toutes les colonnes prédictives en une seule colonne.

Une version mise à jour des données flights, qui tient compte de tous les changements des exercices précédents, comporte les colonnes prédictives suivantes :

mon, dom et dow
carrier_idx (valeur indexée à partir de carrier)
org_idx (valeur indexée à partir de org)
km
depart
duration

Remarque : L'argument truncate=False de la méthode show() empêche la troncation des données dans le résultat.

Cette activité fait partie du cours

Machine Learning avec PySpark

Voir le cours

Instructions de l’exercice

Importez la classe qui assemblera les prédicteurs.
Créez un objet assembleur qui vous permettra de fusionner les colonnes prédictives en une seule colonne.
Utilisez l'assembleur pour générer une nouvelle colonne consolidée.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import the necessary class
from pyspark.ml.feature import ____

# Create an assembler object
assembler = ____(inputCols=[
    ____
], outputCol='features')

# Consolidate predictor columns
flights_assembled = assembler.____(____)

# Check the resulting column
flights_assembled.select('features', 'delay').show(5, truncate=False)

Modifier et exécuter le code