A veces, los datos que tenemos que procesar alcanzan un tamaño excesivo para la memoria de un ordenador. Este es un problema común al que se enfrentan los científicos de datos. Una solución a esto es procesar toda una fuente de datos fragmento a fragmento, en lugar de hacerlo de una sola vez.

En este ejercicio, harás precisamente eso. Procesarás un gran archivo .csv de datos de Twitter igual que procesaste 'tweets.csv' en los ejercicios de ¡Juntarlo todo! del curso precuela, pero, ahora, trabajando en fragmentos de 10 entradas cada vez.

Si te interesa aprender cómo acceder a datos de Twitter para poder trabajar con ellos en tu propio sistema, consulta la Parte 2 del curso de DataCamp sobre importación de datos en Python.

El paquete pandas se ha importado como pd y el archivo 'tweets.csv' está en tu directorio actual para que lo utilices.

Ten en cuenta que se trata de datos reales de Twitter, por lo que siempre existe el riesgo de que encuentres lenguaje soez u otro contenido ofensivo (en este ejercicio y en los siguientes que también utilicen datos reales de Twitter).

Uso de iteradores para cargar archivos grandes en memoria

Create Your Free Account