1. Learn
    2. /
  2. Курси
    3. /
  3. Очищення даних у PySpark
Connected

Вправа

Використання ледачої обробки

Операції з ледачою обробкою зазвичай виконуються приблизно за той самий час незалежно від фактичного обсягу даних. Пам'ятайте, що це тому, що Spark не виконує жодних перетворень, доки не буде викликано дію.

У цій вправі ми визначимо датафрейм (aa_dfw_df) і додамо кілька перетворень. Зверніть увагу на час, потрібний для завершення перетворень під час їх визначення порівняно з тим, коли дані фактично запитуються. Різниця може бути невеликою, але помітною. Під час роботи з повноцінним кластером Spark і більшими обсягами даних ця різниця буде ще відчутнішою.

Інструкції

100 XP
  • Завантажте датафрейм.
  • Додайте перетворення F.lower() до стовпця Destination Airport.
  • Відобразіть датафрейм за допомогою .show(), звернувши увагу на різницю в часі, потрібному для завершення цієї дії.