Zápis snímku do formátu Parquet

Navazující dashboard potřebuje odlehčený snímek ve formátu Parquet s aktivitou digitálních e-knih. Sestav výsledek líným způsobem a pak ho ulož s explicitním nastavením komprese a skupin řádků, aby bylo čtení souboru co nejrychlejší.

K dispozici máš LazyFrame requests a cestu pro export uloženou v PARQUET_EXPORT_PATH.

Toto cvičení je součástí kurzu

Scaling and Optimizing Data Pipelines with Polars

Zobrazit kurz

Pokyny k cvičení

Pro snímek ponech pouze prvních 500 digitálních řádků.
Při zápisu souboru Parquet nastav compression_level na 5.
Nastav row_group_size na 250 řádků.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

result = (
    requests
    .filter(pl.col("use") == "Digital")
    .select("date", "format", "checkouts", "title")
    # Keep only the first 500 rows
    .____(500)
    .collect()
)

result.write_parquet(
    PARQUET_EXPORT_PATH,
    # Set compression level to 5
    compression_level=____,
    # Set 250 rows per row group
    row_group_size=____,
)

print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))

Upravit a spustit kód