データパイプラインにおけるモニタリングとアラート
いよいよ、これまでの内容を組み合わせてみましょう。お気づきかもしれませんが、try-except を使ったエラー処理とログ記録は切っても切れない関係にあります。この2つの手法は、パイプラインの堅牢性と透明性を確保するために欠かせないものであり、より高度なモニタリングやアラートの仕組みを構築するための基礎にもなります。
pandas は pd としてインポート済みで、logging モジュールも読み込みと設定が完了しています。raw_sales_data データフレームはすでに抽出されており、変換の準備が整っています。
この演習はコースの一部です
Python で学ぶ ETL と ELT
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")