1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Небезпечне зʼєднання

У цій вправі ми зʼєднуватимемо за широтою та довготою, щоб додати інший набір даних, який вимірює зручність пішого руху в районі. Потрібно бути уважними: стовпці для зʼєднання мають бути одного типу даних, а також мати однакову точність (кількість цифр після коми), інакше зʼєднання не спрацює!

Нижче ви побачите, що df['latitude'] і df['longitude'] мають вищу точність, ніж walk_df['longitude'] і walk_df['latitude']. Потрібно округлити їх до однакової точності, щоб зʼєднання відбулося коректно.

Інструкції

100 XP
  • Перетворіть walk_df['latitude'] і walk_df['longitude'] на тип double, застосувавши до стовпця cast('double') і замінивши стовпець на місці за допомогою withColumn().
  • Округліть стовпці на місці за допомогою withColumn() і викликів round('latitude', 5) та round('longitude', 5).
  • Створіть умову зʼєднання: відповідність walk_df['latitude'] до df['latitude'] та walk_df['longitude'] до df['longitude'].
  • Зʼєднайте df і walk_df за допомогою join(), використовуючи умову вище та тип зʼєднання left. Збережіть результат у датафреймі join_df.