Eliminar un DataFrame de la caché
Has terminado las tareas de análisis con el Marco de Datos salidas_df, pero te queda algún otro procesamiento por hacer. Te gustaría eliminar el DataFrame de la caché para evitar un uso excesivo de memoria en tu cluster.
El DataFrame departures_df está definido y ya se ha almacenado en caché para ti.
Este ejercicio forma parte del curso
Limpiar datos con PySpark
Instrucciones del ejercicio
- Comprueba el estado de la caché en el DataFrame
departures_df. - Elimina el DataFrame
departures_dfde la caché. - Valida de nuevo el estado de la caché.
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
# Determine if departures_df is in the cache
print("Is departures_df cached?: %s" % departures_df.____)
print("Removing departures_df from cache")
# Remove departures_df from the cache
____
# Check the cache status again
print("Is departures_df cached?: %s" % ____)