Écrire un itérateur pour charger des données par blocs (1)
Une autre façon de lire, par blocs, des données trop volumineuses pour la mémoire consiste à charger le fichier en DataFrame d'une certaine longueur, disons 100. Par exemple, avec le paquet pandas (importé sous le nom pd), vous pouvez faire pd.read_csv(filename, chunksize=100). Cela crée un objet lecteur itérable, ce qui signifie que vous pouvez utiliser next() dessus.
Dans cet exercice, vous lirez un fichier en petits blocs de DataFrame avec readcsv(). Vous allez utiliser les données des Indicateurs de la Banque mondiale 'indpop.csv', disponibles dans votre répertoire courant, pour examiner l'indicateur de population urbaine pour de nombreux pays et plusieurs années.
Cette activité fait partie du cours
Boîte à outils Python
Instructions de l’exercice
- Utilisez pd.readcsv() pour lire 'indpop.csv' par blocs de taille 10. Assignez le résultat à df_reader.
- Affichez les deux premiers blocs de df_reader.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import the pandas package
import pandas as pd
# Initialize reader object: df_reader
df_reader = ____(____, ____)
# Print two chunks
print(____)
print(____)