Uçuş kalkış noktasını kodlama
Uçuş verilerindeki org sütunu, bir uçuşun kalktığı havaalanını veren kategorik bir değişkendir.
- ORD — O'Hare International Airport (Chicago)
- SFO — San Francisco International Airport
- JFK — John F Kennedy International Airport (New York)
- LGA — La Guardia Airport (New York)
- SMF — Sacramento
- SJC — San Jose
- OGG — Kahului (Hawaii)
Açıkça bu, havaalanlarının sadece küçük bir alt kümesi. Yine de bu bir kategorik değişken olduğundan, bir regresyon modelinde kullanılmadan önce one-hot kodlanması gerekir.
Veriler flights adlı bir değişkende. org içindeki dizgelere karşılık gelen indeksli değerlerden oluşan bir sütun oluşturmak için bir string indexer zaten kullandın.
Yanındaki IPython Shell'in Slaytlar panelindeki ders slaytlarına tekrar bakmak faydalı olabilir.
Bu egzersiz, kursun bir parçasıdır
PySpark ile Machine Learning
Egzersiz talimatları
- One-hot encoder sınıfını içe aktar.
- Girdi sütunu
org_idx, çıktı sütunuorg_dummyolacak şekilde bir one-hot encoder örneği oluştur. - One-hot encoder'ı flights verilerine uygula.
- Kategorik değerlerden ikili kodlanmış kukla değişkenlere olan eşlemenin bir özetini üret. Yalnızca benzersiz değerleri dahil et ve
org_idx'e göre sırala.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import the one hot encoder class
from pyspark.ml.____ import ____
# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])
# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)
# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()