1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Обчислення з датами

У цьому прикладі ми перевіримо частоту наших даних. Набір Mortgage має бути тижневим, але переконаймося в цьому: зсуньте дату звіту назад на один період, а потім візьміть різницю між датами.

Згадайте, що щоб створити зсунуту ознаку, потрібно створити window(). window() дає змогу повертати значення для кожного запису на основі обчислення над групою записів — у нашому випадку це ставка іпотеки за попередній період.

Інструкції

100 XP
  • Приведіть mort_df['DATE'] до типу дати за допомогою to_date()
  • Створіть вікно за допомогою функції Window() і скористайтеся orderBy(), щоб відсортувати за mort_df[DATE]
  • Створіть новий стовпець DATE-1 за допомогою withColumn(), зсунувши стовпець DATE функцією lag() і застосувавши вікно через over(w)
  • Обчисліть різницю між DATE і DATE-1 за допомогою datediff() та назвіть її Days_Between_Report