编写迭代器分块加载数据(1)
另一种按块读取过大而无法一次装入内存的数据的方法,是将文件按固定长度读入为多个 DataFrame,例如 100 行。比如,使用 pandas 库(已导入为 pd),可以写 pd.read_csv(filename, chunksize=100)。这会创建一个可迭代的「读取器对象」(reader object),也就是说,您可以对它使用 next()。
在本练习中,您将用 read_csv() 将文件按小的 DataFrame 块读取。您将使用当前目录中的世界银行指标数据 'ind_pop.csv',来查看多个国家和年份的城镇人口指标。
本练习是课程的一部分
Python 工具箱
练习说明
- 使用
pd.read_csv()以大小为 10 的分块读取'ind_pop.csv'。将结果赋给df_reader。 - 打印
df_reader的前两个数据块。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import the pandas package
import pandas as pd
# Initialize reader object: df_reader
df_reader = ____(____, ____)
# Print two chunks
print(____)
print(____)