Створення ітератора для завантаження даних частинами (1)
Ще один спосіб читати надто великі для пам'яті дані — завантажувати файл частинами як датафрейми заданої довжини, наприклад по 100 рядків. Наприклад, у пакеті pandas (імпортованому як pd) можна використати pd.read_csv(filename, chunksize=100). Це створює ітерований об'єкт-ридер (reader object), тобто до нього можна застосовувати next().
У цій вправі ви прочитаєте файл невеликими блоками DataFrame за допомогою read_csv(). Ви використаєте дані World Bank Indicators 'ind_pop.csv', що є у вашому поточному каталозі, щоб переглянути показник міського населення для різних країн і років.
Ця вправа є частиною курсу
Набір інструментів Python
Інструкції до вправи
- Використайте
pd.read_csv()для читання'ind_pop.csv'частинами розміру 10. Присвойте результат зміннійdf_reader. - Виведіть у консоль перші два блоки з
df_reader.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import the pandas package
import pandas as pd
# Initialize reader object: df_reader
df_reader = ____(____, ____)
# Print two chunks
print(____)
print(____)