Łączenie kolumn

Ostatnim krokiem przygotowania danych jest zebranie wszystkich kolumn predyktorów w jednej kolumnie.

Zaktualizowana wersja danych flights, uwzględniająca wszystkie zmiany z poprzednich ćwiczeń, zawiera następujące kolumny predyktorów:

mon, dom i dow
carrier_idx (wartość zakodowana z carrier)
org_idx (wartość zakodowana z org)
km
depart
duration

Uwaga: Argument truncate=False przekazany do metody show() zapobiega obcinaniu danych w wynikach.

To ćwiczenie jest częścią kursu

Uczenie maszynowe z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Zaimportuj klasę, która pozwoli połączyć predyktory.
Utwórz obiekt asemblera, który umożliwi scalenie kolumn predyktorów w jedną kolumnę.
Użyj asemblera, aby wygenerować nową, skonsolidowaną kolumnę.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import the necessary class
from pyspark.ml.feature import ____

# Create an assembler object
assembler = ____(inputCols=[
    ____
], outputCol='features')

# Consolidate predictor columns
flights_assembled = assembler.____(____)

# Check the resulting column
flights_assembled.select('features', 'delay').show(5, truncate=False)

Edytuj i uruchom kod