データをファイルに永続化する
最終的な保存先にデータをロードすることは、データパイプラインで最も重要なステップの一つです。この演習では、以下に示す transform() 関数を使って商品売上データを変換し、その後 .csv ファイルにロードします。これにより、下流のデータ利用者は複数の商品にわたる総売上をより明確に把握できます。
この演習では、売上データはすでに読み込みと変換が完了しており、clean_sales_data という DataFrame に保存されています。pandas パッケージは pd としてインポート済みで、os ライブラリも使用可能です。
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
- ヘッダーとインデックス列を含めずに、指定されたパスへデータを書き出すように
load()関数を更新してください。 - 目的のファイルパスにファイルが作成されたことを確認してください。
- 変換後のデータを永続ストレージにロードするために、関数を呼び出してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def load(clean_data, file_path):
# Write the data to a file
clean_data.to_csv(file_path, ____, ____)
# Check to make sure the file exists
file_exists = os.____.____(____)
if not file_exists:
raise Exception(f"File does NOT exists at path {file_path}")
# Load the transformed data to the provided file path
____(clean_sales_data, "transformed_sales_data.csv")