Запись снимка в формате Parquet

Нижестоящей панели мониторинга нужен компактный снимок активности по цифровым электронным книгам в формате Parquet. Сформируйте результат в ленивом режиме, а затем запишите его с явными настройками сжатия и размера группы строк, чтобы оптимизировать файл для быстрого чтения.

LazyFrame requests уже доступен, а путь для экспорта хранится в PARQUET_EXPORT_PATH.

Это упражнение является частью курса

Масштабирование и оптимизация конвейеров данных с Polars

Посмотреть курс

Инструкции к упражнению

Оставьте только первые 500 строк с цифровыми данными для снимка.
Установите compression_level равным 5 при записи файла Parquet.
Установите row_group_size равным 250 строкам.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

result = (
    requests
    .filter(pl.col("use") == "Digital")
    .select("date", "format", "checkouts", "title")
    # Keep only the first 500 rows
    .____(500)
    .collect()
)

result.write_parquet(
    PARQUET_EXPORT_PATH,
    # Set compression level to 5
    compression_level=____,
    # Set 250 rows per row group
    row_group_size=____,
)

print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))

Редактировать и запускать код