寫出一個 Parquet 快照
下游的資訊儀表板需要一個更精簡的數位電子書活動 Parquet 快照。請用 lazy 模式建立結果,然後用明確的壓縮與 row group 設定寫出檔案,讓它在讀取時更快。
已提供 LazyFrame requests,匯出路徑在 PARQUET_EXPORT_PATH。
本練習屬於課程
使用 Polars 擴充與最佳化資料管線
練習說明
- 這個快照只保留前 500 列的數位紀錄。
- 寫出 Parquet 檔時,將
compression_level設為5。 - 將
row_group_size設為250列。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
result = (
requests
.filter(pl.col("use") == "Digital")
.select("date", "format", "checkouts", "title")
# Keep only the first 500 rows
.____(500)
.collect()
)
result.write_parquet(
PARQUET_EXPORT_PATH,
# Set compression level to 5
compression_level=____,
# Set 250 rows per row group
row_group_size=____,
)
print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))