Збирання стовпців

Останній етап підготовки даних — об'єднати всі стовпці-передиктори в один стовпець.

Оновлена версія даних flights, у якій враховано всі зміни з попередніх вправ, має такі стовпці-передиктори:

mon, dom і dow
carrier_idx (індексоване значення з carrier)
org_idx (індексоване значення з org)
km
depart
duration

Примітка. Аргумент truncate=False у методі show() запобігає обрізанню даних у виводі.

Ця вправа є частиною курсу

Machine Learning з PySpark

Переглянути курс

Інструкції до вправи

Імпортуйте клас, який збиратиме передиктори.
Створіть об'єкт-асемблер, щоб об'єднати стовпці-передиктори в один стовпець.
Використайте асемблер, щоб згенерувати новий зведений стовпець.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import the necessary class
from pyspark.ml.feature import ____

# Create an assembler object
assembler = ____(inputCols=[
    ____
], outputCol='features')

# Consolidate predictor columns
flights_assembled = assembler.____(____)

# Check the resulting column
flights_assembled.select('features', 'delay').show(5, truncate=False)

Редагувати та запускати код