Xác thực đường ống dữ liệu tại các "điểm kiểm tra"
Trong bài tập này, bạn sẽ làm việc với một đường ống dữ liệu trích xuất dữ liệu thuế từ tệp CSV, tạo một cột mới, lọc các hàng dựa trên thu nhập chịu thuế trung bình và ghi dữ liệu ra tệp parquet.
pandas đã được nạp với bí danh pd, và các hàm extract(), transform() và load() đã được định nghĩa sẵn. Bạn sẽ dùng các hàm này để xác thực đường ống dữ liệu tại nhiều điểm kiểm tra trong suốt quá trình thực thi.
Bài tập này là một phần của khóa học
ETL và ELT với Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")