データパイプラインをエンドツーエンドで実行する
本番環境でパイプラインを動かすときは、パフォーマンスを監視することが重要です。コースの前半では、例外処理やログ記録といったツールを学びました。最後のこの演習では、例外を監視しつつパフォーマンスをログに残しながら、パイプラインをエンドツーエンドで実行する練習を行います。
この演習はコースの一部です
Python で学ぶ ETL と ELT
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
import logging
# Import extract, transform, and load functions from pipeline_utils
____