Zpracování výsledků dotazu po dávkách
Tým chce odesílat řádky s digitálními platbami do navazujícího systému po částech, místo aby najednou načetl jeden obří DataFrame. Projdi dávky po 5 000 řádcích a z každé zaznamenej stručné shrnutí.
LazyFrame digital_rows s filtrovanými digitálními platbami je již připravený.
Toto cvičení je součástí kurzu
Scaling and Optimizing Data Pipelines with Polars
Pokyny k cvičení
- Projdi
digital_rowspo dávkách po 5 000 řádcích pomocí streamovacího enginu.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
batch_summaries = []
# Stream digital_rows in chunks of 5,000
for batch_no, batch in enumerate(
digital_rows.____(chunk_size=____, engine="streaming"),
start=1,
):
batch_summaries.append(
{
"batch": batch_no,
"rows": batch.height,
"checkouts": batch["checkouts"].sum(),
}
)
result = pl.DataFrame(batch_summaries)
print(result)