Utiliser un récepteur de lots personnalisé

Pour des traitements personnalisés que Polars ne gère pas nativement, vous pouvez transmettre votre propre fonction. L'équipe souhaite voir ce schéma, même si elle utiliserait normalement un récepteur intégré. Diffusez digital_rows via la fonction prédéfinie record_batch.

digital_rows est préchargé. Une fonction record_batch(batch) qui enregistre, pour chaque lot, le nombre de lignes et la somme des paiements dans batch_summaries est également définie pour vous.

Cet exercice fait partie du cours

<cours>Mise à l'échelle et optimisation des pipelines de données avec Polars</cours>

Voir le cours

Instructions de l’exercice

Diffusez digital_rows vers la fonction par lots de 5 000 lignes avec le moteur de streaming.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Stream batches through the record_batch function
digital_rows.____(
    record_batch,
    ____=5_000,
    ____="streaming",
)

result = pl.DataFrame(batch_summaries)
print(result)

Modifier et exécuter le code