在"检查点"验证数据管道
在本练习中,您将使用一个数据管道:它从 CSV 文件提取税务数据,创建一个新列,根据平均应税收入过滤行,并将数据持久化为 parquet 文件。
已将 pandas 加载为 pd,且已定义好 extract()、transform() 和 load() 函数。您将使用这些函数在管道运行的不同检查点对其进行验证。
本练习是课程的一部分
使用 Python 的 ETL 和 ELT
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")