Удаление DataFrame из кэша
Вы завершили анализ данных с использованием DataFrame departures_df, но у вас есть другие задачи по обработке данных. Чтобы освободить память на кластере, вы хотите удалить этот DataFrame из кэша.
DataFrame departures_df определён и уже добавлен в кэш.
Это упражнение является частью курса
Очистка данных с помощью PySpark
Инструкции к упражнению
- Проверьте статус кэширования DataFrame
departures_df. - Удалите DataFrame
departures_dfиз кэша. - Проверьте статус кэширования ещё раз.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Determine if departures_df is in the cache
print("Is departures_df cached?: %s" % departures_df.____)
print("Removing departures_df from cache")
# Remove departures_df from the cache
____
# Check the cache status again
print("Is departures_df cached?: %s" % ____)