Kolumny kategoryczne
W zbiorze danych o lotach znajdują się dwie kolumny — carrier i org — które przechowują dane kategoryczne. Musisz przekształcić te kolumny na indeksowane wartości numeryczne.
To ćwiczenie jest częścią kursu
Uczenie maszynowe z PySpark
Instrukcje do ćwiczenia
- Zaimportuj odpowiednią klasę i utwórz obiekt indeksera, który przekształci kolumnę
carrierz wartości tekstowych na indeks numeryczny. - Przygotuj obiekt indeksera na danych o lotach.
- Użyj przygotowanego indeksera, aby utworzyć kolumnę z indeksem numerycznym.
- Powtórz ten proces dla kolumny
org.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
from pyspark.ml.feature import ____
# Create an indexer
indexer = ____(inputCol=____, outputCol='carrier_idx')
# Indexer identifies categories in the data
indexer_model = indexer.____(flights)
# Indexer creates a new column with numeric index values
flights_indexed = ____.____(____)
# Repeat the process for the other categorical feature
flights_indexed = ____(inputCol=____, outputCol='org_idx').____(____).____(____)
flights_indexed.show(5)