1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

One Hot Encoding

У Сполучених Штатах місце проживання визначає, до яких шкіл можуть ходити ваші діти. Тож зрозуміло, що багатьом дуже важливо, до якого шкільного округу належатиме їхнє майбутнє житло. Хоча шкільні округи мають номери в SCHOOLDISTRICTNUMBER, за суттю це категоріальні значення. Тобто підсумовувати чи усереднювати їх не має очевидного сенсу. Тому в цьому прикладі ми перетворимо SCHOOLDISTRICTNUMBER з категоріальної змінної на числовий вектор, щоб далі використати його в нашій моделі машинного навчання.

Інструкції

100 XP
  • Створіть перетворювач StringIndexer з назвою string_indexer, указавши SCHOOLDISTRICTNUMBER як вхід і School_Index як вихід.
  • Застосуйте перетворювач string_indexer до df, викликавши fit() і transform(). Збережіть перетворений датафрейм у indexed_df.
  • Створіть перетворювач OneHotEncoder з назвою encoder, використавши School_Index як вхід і School_Vec як вихід.
  • Застосуйте перетворення до indexed_df, використавши transform(). Перегляньте покрокові результати перетворення за допомогою наданого коду.