1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Зʼєднання за компонентами часу

Доволі часто для зʼєднання з іншими наборами інформації ви використовуєте компоненти дати. Однак у цьому прикладі нам потрібні дані, які були б доступні тим, хто розглядав купівлю будинку. Тобто для аналізу потрібно використати звітні дані за попередній рік.

Інструкції

100 XP
  • Видобудьте рік з LISTDATE за допомогою year() і збережіть його в нову колонку list_year через withColumn()
  • Створіть ще одну нову колонку report_year, віднявши 1 від list_year
  • Створіть умову зʼєднання, яка зіставляє df['CITY'] з price_df['City'] і df['report_year'] з price_df['Year']
  • Виконайте ліве зʼєднання між df і price_df