Bearbeta frågeresultat i batchar
Teamet vill skicka rader med digitala kassaflöden till ett nedströmsystem i delar, i stället för att samla in en enda stor DataFrame. Iterera genom batchar om 5 000 rader och spara en kort sammanfattning av varje.
En LazyFrame digital_rows med de filtrerade digitala kassaflödena är förladdad.
Den här övningen är en del av kursen
Skalning och optimering av datapipelines med Polars
Övningsinstruktioner
- Iterera genom
digital_rowsi batchar om 5 000 rader med hjälp av streaming-motorn.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
batch_summaries = []
# Stream digital_rows in chunks of 5,000
for batch_no, batch in enumerate(
digital_rows.____(chunk_size=____, engine="streaming"),
start=1,
):
batch_summaries.append(
{
"batch": batch_no,
"rows": batch.height,
"checkouts": batch["checkouts"].sum(),
}
)
result = pl.DataFrame(batch_summaries)
print(result)