1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Розбиття та вибух (explode)

Уміння взяти складене поле на кшталт GARAGEDESCRIPTION і перетворити його на щось корисне — це багатокроковий процес. Варто заздалегідь розуміти, яку користь дасть його розширення. У цьому прикладі ми перетворимо рядок на масив, подібний до списку, „вибухнемо" його, а потім розглянемо унікальні значення.

Інструкції

100 XP
  • Імпортуйте потрібні функції split() і explode() з pyspark.sql.functions.
  • Використайте split(), щоб створити новий стовпець garage_list, розбивши df['GARAGEDESCRIPTION'] за ', ' — це кома та пробіл.
  • Створіть новий запис для кожного значення в df['garage_list'], використовуючи explode(), і запишіть результат у новий стовпець ex_garage_list.
  • Застосуйте distinct(), щоб отримати унікальні значення ex_garage_list, і викличте show для перших 100 рядків, обрізавши їх до 50 символів, щоб зручно відобразити значення.