Parquet スナップショットの書き込み

下流のダッシュボード向けに、デジタル電子書籍のアクティビティをまとめた軽量な Parquet スナップショットが必要です。結果をレイジーに構築し、圧縮と行グループの設定を明示的に指定して、高速な読み込みに最適化されたファイルとして書き出しましょう。

LazyFrame requests は利用可能な状態で、エクスポート先のパスは PARQUET_EXPORT_PATH に格納されています。

この演習はコースの一部です

Polars によるデータパイプラインのスケーリングと最適化

コースを見る

演習の手順

スナップショット用にデジタル行の先頭 500 行のみを保持してください。
Parquet ファイルの書き込み時に compression_level を 5 に設定してください。
row_group_size を 250 行に設定してください。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

result = (
    requests
    .filter(pl.col("use") == "Digital")
    .select("date", "format", "checkouts", "title")
    # Keep only the first 500 rows
    .____(500)
    .collect()
)

result.write_parquet(
    PARQUET_EXPORT_PATH,
    # Set compression level to 5
    compression_level=____,
    # Set 250 rows per row group
    row_group_size=____,
)

print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))

コードを編集して実行