Przetwarzanie wyników zapytań w partiach
Zespół chce przesyłać wiersze z cyfrowych transakcji do systemu zewnętrznego w partiach, zamiast jednorazowo zbierać jedną ogromną ramkę danych. Przejdź przez partie po 5 000 wierszy i zapisz krótkie podsumowanie każdej z nich.
LazyFrame digital_rows z przefiltrowanymi cyfrowymi transakcjami jest już wczytany.
To ćwiczenie jest częścią kursu
Skalowanie i optymalizacja potoków danych w Polars
Instrukcje do ćwiczenia
- Przejdź przez
digital_rowsw partiach po 5 000 wierszy, korzystając z silnika strumieniowego.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
batch_summaries = []
# Stream digital_rows in chunks of 5,000
for batch_no, batch in enumerate(
digital_rows.____(chunk_size=____, engine="streaming"),
start=1,
):
batch_summaries.append(
{
"batch": batch_no,
"rows": batch.height,
"checkouts": batch["checkouts"].sum(),
}
)
result = pl.DataFrame(batch_summaries)
print(result)