Usuwanie DataFrame z pamięci podręcznej
Analiza danych z DataFrame departures_df jest już zakończona, ale masz jeszcze inne zadania do wykonania. Chcesz usunąć ten DataFrame z pamięci podręcznej, aby ograniczyć zużycie pamięci na klastrze.
DataFrame departures_df jest już zdefiniowany i zapisany w pamięci podręcznej.
To ćwiczenie jest częścią kursu
Czyszczenie danych w PySpark
Instrukcje do ćwiczenia
- Sprawdź status buforowania DataFrame
departures_df. - Usuń DataFrame
departures_dfz pamięci podręcznej. - Zweryfikuj status buforowania jeszcze raz.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Determine if departures_df is in the cache
print("Is departures_df cached?: %s" % departures_df.____)
print("Removing departures_df from cache")
# Remove departures_df from the cache
____
# Check the cache status again
print("Is departures_df cached?: %s" % ____)