Tarih Matematiği

Bu örnekte, verilerimizin frekansını doğrulamaya bakacağız. Mortgage veri kümesi haftalık veri içermeli, ama emin olmak için rapor tarihini geciktirip (lag) tarihler arasındaki farkı alalım.

Gecikmeli bir özellik oluşturmak için window() oluşturmamız gerektiğini hatırla. window(), her kayıt için bir grup kayıt üzerinde yapılan bir hesaplamaya göre bir değer döndürmene olanak tanır; bu durumda önceki dönemin mortgage oranı.

Bu egzersiz, kursun bir parçasıdır

PySpark ile Özellik Mühendisliği

Kursa Göz Atın

Egzersiz talimatları

mort_df['DATE'] sütununu to_date() ile date türüne dönüştür
Window() fonksiyonu ile bir window oluştur ve orderBy() kullanarak mort_df[DATE] sütununa göre sırala
lag() ile DATE sütununu geciktirerek ve over(w) ile window uygulayarak withColumn() içinde yeni bir DATE-1 sütunu oluştur
DATE ile DATE-1 arasındaki farkı datediff() kullanarak hesapla ve adını Days_Between_Report koy

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

from pyspark.sql.functions import lag, datediff, to_date
from pyspark.sql.window import Window

# Cast data type
mort_df = mort_df.withColumn(____, ____(____))

# Create window
w = ____().____(____)
# Create lag column
mort_df = mort_df.____(____, ____(____, count=1).____(w))

# Calculate difference between date columns
mort_df = mort_df.withColumn(____, ____(____, ____))
# Print results
mort_df.select('Days_Between_Report').distinct().show()

Kodu Düzenle ve Çalıştır