1. Learn
  2. /
  3. Курси
  4. /
  5. Вступ до PySpark

Connected

вправа

Об'єднуємо все разом II

Створіть DataFrame, застосуйте перетворення, закешуйте його та перевірте, чи його закешовано. Потім скасуйте кешування, щоб звільнити пам'ять. Для цієї вправи для вас уже створено сесію spark! Уважно подивіться на результат методу .explain(), щоб зрозуміти, що відбувається!

Інструкції

100 XP
  • Закешуйте датафрейм df.
  • Поясніть обробку датафрейму agg_result.
  • Після обробки приберіть кеш для датафрейму df за допомогою unpersist().