1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Коригування даних із правим перекосом

На слайдах ми показали, як можна застосовувати логарифмічні перетворення, щоб виправити позитивний перекос даних (коли більша частина розподілу ліворуч). Щоб скоригувати негативний перекос (дані здебільшого праворуч), спершу потрібно зробити додатковий крок — «віддзеркалення», а вже потім застосувати обернену до \(\log\) операцію, записану як (1/\(\log\)), щоб наблизити дані до нормального розподілу. Віддзеркалення даних виконується за такою формулою для кожного значення: \((x_{\text{max}} +1) – x\).

Інструкції

100 XP
  • Використайте агрегатну функцію skewness(), щоб перевірити, що 'YEARBUILT' має негативний перекос.
  • Використайте withColumn(), щоб створити новий стовпець 'Reflect_YearBuilt' і віддзеркалити значення 'YEARBUILT'.
  • Використовуючи стовпець 'Reflect_YearBuilt', створіть ще один стовпець 'adj_yearbuilt', узявши 1/log() від значень.