Kategoriska kolumner

I flygdata finns det två kolumner, carrier och org, som innehåller kategoriska data. Du behöver omvandla dessa kolumner till indexerade numeriska värden.

Den här övningen är en del av kursen

Maskininlärning med PySpark

Visa kurs

Övningsinstruktioner

Importera lämplig klass och skapa ett indexerarobjekt för att omvandla kolumnen carrier från en sträng till ett numeriskt index.
Förbered indexerarobjektet på flygdata.
Använd det förberedda indexeraren för att skapa den numeriska indexkolumnen.
Upprepa processen för kolumnen org.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

from pyspark.ml.feature import ____

# Create an indexer
indexer = ____(inputCol=____, outputCol='carrier_idx')

# Indexer identifies categories in the data
indexer_model = indexer.____(flights)

# Indexer creates a new column with numeric index values
flights_indexed = ____.____(____)

# Repeat the process for the other categorical feature
flights_indexed = ____(inputCol=____, outputCol='org_idx').____(____).____(____)
flights_indexed.show(5)

Redigera och kör kod