1. Learn
    2. /
  2. Courses
    3. /
  3. Вступ до Spark SQL у Python
Connected

Exercise

Тренування кешування: частина 1

У наступних вправах ви попрактикуєтеся з різними способами кешування двох датафреймів.

Датафрейм df1 завантажено з файла CSV. Над ним виконано кілька кроків обробки. Оскільки df1 буде використовуватися більше одного разу, його варто кешувати.

Другий датафрейм df2 створено шляхом додаткових ресурсоємних обчислень на основі df1. Його також варто кешувати.

Оскільки df2 залежить від df1, постає запитання: краще кешувати df1 чи кешувати df2?

У цій вправі ми спробуємо кешувати df1. Зверніть увагу на час виконання кожної дії. Ми порівняємо їх у наступній вправі.

Instructions

100 XP
  • Закешуйте лише df1.
  • Запустіть першу дію на df1 і повторіть її, потім запустіть дію на df2 і також повторіть. Це вже зроблено за вас.
  • Переконайтеся, чи закешовано df1.