データパイプラインのアーキテクチャパターン
データパイプラインを構築する際は、関数を定義するファイルと、それらを実行するファイルを分けておくのが望ましい方法です。
この演習では、パイプラインの構成要素をメモリにインポートしてから、それらの関数を使ってパイプラインをエンドツーエンドで実行する練習をします。このプロジェクトは以下のような構成になっており、pipeline_utils にはパイプラインの実行に使う extract()、transform()、load() 関数が格納されています。
> ls
etl_pipeline.py
pipeline_utils.py
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
pipeline_utilsモジュールからextract、transform、load関数をインポートしましょう。- インポートした関数を使って、データパイプラインをエンドツーエンドで実行しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")