データをファイルに永続化する
データを最終的な格納先にロードすることは、データパイプラインの中でも特に重要なステップです。この演習では、以下に示す transform() 関数を使って商品売上データを変換し、それを .csv ファイルにロードします。これにより、後工程でデータを利用する人たちが、複数の商品にまたがる総売上をより把握しやすくなります。
この演習用に、売上データはすでに読み込みと変換が済んでおり、clean_sales_data という DataFrame に格納されています。pandas パッケージは pd としてインポート済みで、os ライブラリもすぐに使える状態です。
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
load()関数を更新し、ヘッダーとインデックス列を付けずに、指定されたパスへデータを書き込むようにしましょう。- ファイルが目的のファイルパスにロードされたことを確認しましょう。
- 関数を呼び出し、変換済みデータを永続ストレージにロードしましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def load(clean_data, file_path):
# Write the data to a file
clean_data.to_csv(file_path, ____, ____)
# Check to make sure the file exists
file_exists = os.____.____(____)
if not file_exists:
raise Exception(f"File does NOT exists at path {file_path}")
# Load the transformed data to the provided file path
____(clean_sales_data, "transformed_sales_data.csv")