Mengodekan asal penerbangan

Kolom org pada data flights adalah variabel kategorikal yang menyatakan bandara asal keberangkatan suatu penerbangan.

ORD — O'Hare International Airport (Chicago)
SFO — San Francisco International Airport
JFK — John F Kennedy International Airport (New York)
LGA — La Guardia Airport (New York)
SMF — Sacramento
SJC — San Jose
OGG — Kahului (Hawaii)

Jelas ini hanya sebagian kecil dari seluruh bandara. Namun demikian, karena ini adalah variabel kategorikal, variabel tersebut perlu di-one-hot encode sebelum dapat digunakan dalam model regresi.

Datanya berada dalam variabel bernama flights. Anda sudah menggunakan string indexer untuk membuat kolom nilai terindeks yang sesuai dengan string pada org.

Anda mungkin ingin meninjau kembali slide dari pelajaran di panel Slides di samping IPython Shell.

Latihan ini merupakan bagian dari kursus

Machine Learning dengan PySpark

Lihat Kursus

Instruksi latihan

Impor kelas one-hot encoder.
Buat instance one-hot encoder, dengan nama kolom masukan org_idx dan kolom keluaran org_dummy.
Terapkan one-hot encoder pada data flights.
Hasilkan ringkasan pemetaan dari nilai kategorikal ke variabel dummy biner. Sertakan hanya nilai unik dan urutkan berdasarkan org_idx.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Import the one hot encoder class
from pyspark.ml.____ import ____

# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])

# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)

# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()

Edit dan Jalankan Kode