Zapis migawki w formacie Parquet

Powiązany pulpit nawigacyjny potrzebuje odchudzonej migawki Parquet z aktywnością dotyczącą e-booków. Zbuduj wynik leniwie, a następnie zapisz go z jawnymi ustawieniami kompresji i grup wierszy, aby zoptymalizować plik pod kątem szybkiego odczytu.

Dostępny jest LazyFrame requests, a ścieżka eksportu znajduje się w zmiennej PARQUET_EXPORT_PATH.

To ćwiczenie jest częścią kursu

Skalowanie i optymalizacja potoków danych w Polars

Zobacz kurs

Instrukcje do ćwiczenia

Zachowaj tylko pierwsze 500 wierszy dotyczących e-booków na potrzeby migawki.
Ustaw compression_level na 5 podczas zapisu pliku Parquet.
Ustaw row_group_size na 250 wierszy.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

result = (
    requests
    .filter(pl.col("use") == "Digital")
    .select("date", "format", "checkouts", "title")
    # Keep only the first 500 rows
    .____(500)
    .collect()
)

result.write_parquet(
    PARQUET_EXPORT_PATH,
    # Set compression level to 5
    compression_level=____,
    # Set 250 rows per row group
    row_group_size=____,
)

print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))

Edytuj i uruchom kod