Категориальные столбцы
В данных о рейсах есть два столбца — carrier и org, — которые содержат категориальные данные. Вам нужно преобразовать эти столбцы в числовые индексы.
Это упражнение является частью курса
Машинное обучение с PySpark
Инструкции к упражнению
- Импортируйте нужный класс и создайте объект-индексатор для преобразования столбца
carrierиз строкового типа в числовой индекс. - Подготовьте объект-индексатор на данных о рейсах.
- Используйте подготовленный индексатор для создания столбца с числовым индексом.
- Повторите процесс для столбца
org.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
from pyspark.ml.feature import ____
# Create an indexer
indexer = ____(inputCol=____, outputCol='carrier_idx')
# Indexer identifies categories in the data
indexer_model = indexer.____(flights)
# Indexer creates a new column with numeric index values
flights_indexed = ____.____(____)
# Repeat the process for the other categorical feature
flights_indexed = ____(inputCol=____, outputCol='org_idx').____(____).____(____)
flights_indexed.show(5)