Skriv ett rensat uttag till Parquet
Tillbaka till Seattle-bibliotekets data. Teamet har ett rensat utlåningsuttag som de vill skriva till Parquet för nedströmsverktyg, men de vill inte materialisera hela datamängden i minnet först. Skriv den lata frågan direkt till disk.
clean_checkouts är förladdat, tillsammans med exportsökvägen CLEAN_EXPORT_PATH.
Den här övningen är en del av kursen
Skalning och optimering av datapipelines med Polars
Övningsinstruktioner
- Skriv
clean_checkoutstillCLEAN_EXPORT_PATHdirekt från den lata frågan. - Ange radgruppsstorleken till 5 000.
- Använd strömningsmotorn.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Write clean_checkouts straight to disk
clean_checkouts.____(
CLEAN_EXPORT_PATH,
# 5,000 rows per row group
row_group_size=____,
# Streaming engine
engine="____",
)
# Confirm what landed in the Parquet file
result = pl.scan_parquet(CLEAN_EXPORT_PATH).select(
pl.len().alias("rows"),
pl.col("checkouts").sum().alias("total_checkouts"),
).collect()
print(result)