データ読み込み時の例外処理
データパイプラインでは、例外が発生することがあります。この例外は一種の警告であり、想定外の事態が起きたことをデータエンジニアに知らせる役割を果たします。そのため、こうした例外を適切に処理することが重要です。この演習では、まさにその方法を練習しましょう。
学習をスムーズに進められるように、pandas は pd としてインポート済みで、logging モジュールもインポート済みです。デフォルトのログレベルは "debug" に設定されています。
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
- パイプラインを更新して
tryブロックを追加し、パス"sales_data.parquet"からデータの読み込みを試みるようにしましょう。 - ファイルを
pandasの DataFrame に読み込めない場合に備えて、FileNotFoundErrorを捕捉しましょう。 - 失敗を記録するために、エラーレベルのログを作成しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)