Écrire un instantané Parquet

Un tableau de bord en aval a besoin d'un instantané Parquet allégé de l'activité des livres numériques. Construisez le résultat en mode paresseux, puis réécrivez-le avec des paramètres explicites de compression et de groupes de lignes afin d'optimiser le fichier pour des lectures rapides.

Le LazyFrame requests est disponible, et le chemin d'exportation se trouve dans PARQUET_EXPORT_PATH.

Cette activité fait partie du cours

Mise à l'échelle et optimisation des pipelines de données avec Polars

Voir le cours

Instructions de l’exercice

Conservez seulement les 500 premières lignes numériques pour l'instantané.
Réglez compression_level à 5 lors de l'écriture du fichier Parquet.
Réglez row_group_size à 250 lignes.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

result = (
    requests
    .filter(pl.col("use") == "Digital")
    .select("date", "format", "checkouts", "title")
    # Keep only the first 500 rows
    .____(500)
    .collect()
)

result.write_parquet(
    PARQUET_EXPORT_PATH,
    # Set compression level to 5
    compression_level=____,
    # Set 250 rows per row group
    row_group_size=____,
)

print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))

Modifier et exécuter le code