データパイプラインをエンドツーエンドで実行する
パイプラインを本番環境で実行する際は、そのパフォーマンスを監視することが重要です。これまでのコースでは、例外処理やロギングといったツールを取り上げてきました。この最後の演習では、例外を監視しながらパフォーマンスをログに記録し、パイプラインをエンドツーエンドで実行する練習をします。
この演習はコースの一部です
Python で学ぶ ETL と ELT
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
import logging
# Import extract, transform, and load functions from pipeline_utils
____