Escrevendo um iterador para carregar dados em partes (1)
Outra maneira de ler dados grandes demais para serem armazenados na memória em partes é ler o arquivo como DataFrames de um determinado comprimento, por exemplo, 100. Por exemplo, com o pacote pandas (importado como pd), você pode fazer pd.read_csv(filename, chunksize=100). Isso cria um objeto leitor iterável, o que significa que você pode usar next() nele.
Neste exercício, você lerá um arquivo em pequenos partes de DataFrame com read_csv(). Você usará os dados do Indicadores do Banco Mundial 'ind_pop.csv', disponíveis em seu diretório atual, para examinar o indicador de população urbana de vários países e anos.
Este exercício faz parte do curso
Caixa de ferramentas Python
Instruções de exercício
- Use
pd.read_csv()para ler blocos de tamanho 10 em'ind_pop.csv'. Atribua o resultado adf_reader. - Imprima as duas primeiras partes de
df_reader.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Import the pandas package
import pandas as pd
# Initialize reader object: df_reader
df_reader = ____(____, ____)
# Print two chunks
print(____)
print(____)