Viết một iterator để nạp dữ liệu theo từng phần (1)
Một cách khác để đọc dữ liệu quá lớn không thể chứa hết trong bộ nhớ là đọc file thành các DataFrame có độ dài cố định, ví dụ 100. Chẳng hạn, với gói pandas (đã import là pd), bạn có thể dùng pd.read_csv(filename, chunksize=100). Lệnh này tạo ra một đối tượng reader có thể lặp (iterable), nghĩa là bạn có thể dùng next() trên nó.
Trong bài tập này, bạn sẽ đọc file thành các phần nhỏ dưới dạng DataFrame với read_csv(). Bạn sẽ dùng dữ liệu World Bank Indicators 'ind_pop.csv' (có sẵn trong thư mục hiện tại) để xem chỉ số dân số đô thị cho nhiều quốc gia và năm.
Bài tập này là một phần của khóa học
Hộp Công Cụ Python
Hướng dẫn bài tập
- Dùng
pd.read_csv()để đọc'ind_pop.csv'theo từng phần có kích thước 10. Gán kết quả chodf_reader. - In ra hai phần (chunk) đầu tiên từ
df_reader.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the pandas package
import pandas as pd
# Initialize reader object: df_reader
df_reader = ____(____, ____)
# Print two chunks
print(____)
print(____)