クリーニング済みデータを Parquet に書き出す
シアトル図書館のデータに戻りましょう。チームは、クリーニング済みのチェックアウトデータを Parquet 形式で書き出し、下流のツールで活用したいと考えています。ただし、データ全体をメモリに展開するのは避けたいところです。レイジークエリの結果を直接ディスクに書き込みましょう。
clean_checkouts と書き出し先のパス CLEAN_EXPORT_PATH は事前に読み込まれています。
この演習はコースの一部です
Polars によるデータパイプラインのスケーリングと最適化
演習の手順
- レイジークエリから直接、
clean_checkoutsをCLEAN_EXPORT_PATHに書き出してください。 - 行グループサイズを 5,000 に設定してください。
- ストリーミングエンジンを使用してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Write clean_checkouts straight to disk
clean_checkouts.____(
CLEAN_EXPORT_PATH,
# 5,000 rows per row group
row_group_size=____,
# Streaming engine
engine="____",
)
# Confirm what landed in the Parquet file
result = pl.scan_parquet(CLEAN_EXPORT_PATH).select(
pl.len().alias("rows"),
pl.col("checkouts").sum().alias("total_checkouts"),
).collect()
print(result)