Usar un sink por lotes personalizado
Para procesamientos personalizados que Polars no admite de forma nativa, puedes pasar tu propia función. El equipo quiere que veas este patrón aunque normalmente usarían un sink integrado. Transmite digital_rows a través de la función predefinida record_batch.
digital_rows está precargado. También tienes definida record_batch(batch), una función que registra en batch_summaries el recuento de filas y la suma de checkout de cada lote.
Este ejercicio forma parte del curso
Escala y optimiza canalizaciones de datos con Polars
Instrucciones del ejercicio
- Transmite
digital_rowsa través de la función en lotes de 5.000 filas usando el motor de streaming.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)