「チェックポイント」でデータパイプラインを検証する
この演習では、CSV ファイルから税務データを抽出し、新しい列を作成し、平均課税所得に基づいて行を絞り込んで、データを parquet ファイルに保存するデータパイプラインを扱います。
pandas はすでに pd としてロード済みで、extract()、transform()、load() の各関数もすでに定義されています。これらの関数を使って、データパイプラインの実行過程の各チェックポイントでデータを検証していきましょう。
この演習はコースの一部です
Python で学ぶ ETL と ELT
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")