Kódování letiště odletu

Sloupec org v datech o letech je kategorická proměnná označující letiště, z nějž let odlétá.

ORD — O'Hare International Airport (Chicago)
SFO — San Francisco International Airport
JFK — John F Kennedy International Airport (New York)
LGA — La Guardia Airport (New York)
SMF — Sacramento
SJC — San Jose
OGG — Kahului (Havaj)

Jde samozřejmě jen o malou podmnožinu letišť. Protože se ale jedná o kategorickou proměnnou, je před použitím v regresním modelu nutné ji zakódovat metodou one-hot encoding.

Data jsou uložena v proměnné flights. Indexování řetězců jsi už provedl/a a vytvořil/a sloupec s indexovanými hodnotami odpovídajícími řetězcům ve sloupci org.

Může se ti hodit podívat se zpět na snímky z lekcí v panelu Slides vedle IPython Shell.

Toto cvičení je součástí kurzu

Machine Learning with PySpark

Zobrazit kurz

Pokyny k cvičení

Importuj třídu pro one-hot encoding.
Vytvoř instanci one-hot enkodéru — jako vstupní sloupec nastav org_idx a jako výstupní sloupec org_dummy.
Aplikuj one-hot enkodér na data o letech.
Vygeneruj přehled mapování kategorických hodnot na binárně zakódované dummy proměnné. Zahrň pouze unikátní hodnoty a seřaď je podle org_idx.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Import the one hot encoder class
from pyspark.ml.____ import ____

# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])

# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)

# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()

Upravit a spustit kód