Bölme ve Patlatma

GARAGEDESCRIPTION gibi bileşik bir alanı alıp işe yarar bir şeye dönüştürmek zahmetli bir süreçtir. Bunu genişleterek hangi değeri elde edebileceğini baştan anlamak faydalıdır. Bu örnekte, metnimizi liste benzeri bir diziye çevirecek, onu patlatacak ve sonra benzersiz değerlere göz atacağız.

Bu egzersiz, kursun bir parçasıdır

PySpark ile Özellik Mühendisliği

Kursa Göz Atın

Egzersiz talimatları

Gerekli split() ve explode() fonksiyonlarını pyspark.sql.functions içinden içe aktar
split() kullanarak df['GARAGEDESCRIPTION'] alanını ', ' (virgül ve boşluk) üzerinden bölüp yeni bir garage_list sütunu oluştur
explode() kullanarak df['garage_list'] içindeki her değer için yeni bir kayıt oluştur ve bunu ex_garage_list adlı yeni bir sütuna ata
distinct() kullanarak ex_garage_list için benzersiz değerleri al ve ilk 100 satırı göster; değerleri göstermek için 50 karakterde kısalt.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Import needed functions
____ ____ ____ ____, ____

# Convert string to list-like array
df = df.withColumn(____, ____(____, ____))

# Explode the values into new records
ex_df = df.withColumn(____, ____(____))

# Inspect the values
ex_df[['ex_garage_list']].____().____(100, ____=____)

Kodu Düzenle ve Çalıştır