Scrierea unui extras curățat în Parquet

Înapoi la datele bibliotecii din Seattle. Echipa are un extras de împrumuturi curățat pe care dorește să îl scrie în Parquet pentru instrumentele din aval, fără a-l materializa în întregime în memorie. Scrie interogarea lazy direct pe disc.

clean_checkouts este preîncărcat, împreună cu calea de export CLEAN_EXPORT_PATH.

Acest exercițiu face parte din cursul

Scalarea și optimizarea pipeline-urilor de date cu Polars

Vezi cursul

Instrucțiuni pentru exercițiu

Scrie clean_checkouts în CLEAN_EXPORT_PATH direct din interogarea lazy.
Setează dimensiunea grupului de rânduri la 5.000.
Folosește motorul de streaming.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Write clean_checkouts straight to disk
clean_checkouts.____(
    CLEAN_EXPORT_PATH,
    # 5,000 rows per row group
    row_group_size=____,
    # Streaming engine
    engine="____",
)

# Confirm what landed in the Parquet file
result = pl.scan_parquet(CLEAN_EXPORT_PATH).select(
    pl.len().alias("rows"),
    pl.col("checkouts").sum().alias("total_checkouts"),
).collect()
print(result)

Editează și rulează codul