Utiliser un récepteur de lots personnalisé
Pour un traitement personnalisé que Polars ne prend pas en charge nativement, vous pouvez transmettre votre propre fonction. L'équipe veut voir ce modèle même si, normalement, elle utiliserait un récepteur intégré. Diffusez digital_rows vers la fonction prédéfinie record_batch.
digital_rows est préchargé. Une fonction record_batch(batch) qui consigne, pour chaque lot, le nombre de lignes et la somme des achats dans batch_summaries est aussi définie pour vous.
Cette activité fait partie du cours
Mise à l'échelle et optimisation des pipelines de données avec Polars
Instructions de l’exercice
- Diffusez
digital_rowsvers la fonction par lots de 5 000 lignes avec le moteur en continu.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)