Usando um coletor de lotes personalizado
Para processamentos personalizados que o Polars não oferece nativamente, você pode passar sua própria função. A equipe quer ver esse padrão, mesmo que normalmente usaria um coletor interno. Transmita digital_rows pela função pré-definida record_batch.
digital_rows já está carregado. Uma função record_batch(batch) que registra a contagem de linhas e a soma de checkout de cada lote em batch_summaries também foi definida para você.
Este exercicio faz parte do curso
Dimensionamento e Otimização de Pipelines de Dados com Polars
Instruções do exercicio
- Transmita
digital_rowspela função em lotes de 5.000 linhas usando o mecanismo de streaming.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)