Зберіть вектор

Останній крок у Pipeline — об'єднати всі стовпці з ознаками в один стовпець. Це потрібно зробити перед побудовою моделі, адже кожна процедура моделювання в Spark очікує дані саме в такому вигляді. Зробити це можна, зберігаючи кожне значення зі стовпця як елемент у векторі. Тоді з точки зору моделі кожне спостереження — це вектор, що містить усю інформацію про нього, і мітка, яка показує, якому значенню відповідає це спостереження.

Для цього в підмодулі pyspark.ml.feature є клас VectorAssembler. Цей Transformer бере всі вказані вами стовпці та об'єднує їх у новий векторний стовпець.

Ця вправа є частиною курсу

Основи PySpark

Переглянути курс

Інструкції до вправи

Створіть VectorAssembler, викликавши VectorAssembler() із назвами inputCols як списком і назвою outputCol — "features".
- Список стовпців має бути таким: ["month", "air_time", "carrier_fact", "dest_fact", "plane_age"].

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Make a VectorAssembler
vec_assembler = VectorAssembler(inputCols=____, outputCol=____)

Редагувати та запускати код