データ読み込み時の例外処理
データパイプラインでは、例外が発生することがあります。これらの例外はアラートの一種で、予期しない事象が起きたことをデータエンジニアに知らせます。適切に例外を処理することが重要です。この演習では、その練習を行います。
準備として、pandas は pd としてインポート済みで、logging モジュールもインポートされています。既定のログレベルは "debug" に設定されています。
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
- パイプラインに
tryブロックを追加し、パス"sales_data.parquet"からデータの読み取りを試みてください。 - ファイルを
pandasの DataFrame として読み込めない場合は、FileNotFoundErrorを捕捉してください。 - 失敗を記録するエラーレベルのログを作成してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)