Sorgu sonuçlarını partiler halinde işleme
Ekip, tek bir devasa DataFrame toplamak yerine dijital kasa satırlarını aşağı akıştaki bir sisteme parça parça göndermek istiyor. 5.000 satırlık partiler üzerinde yinele ve her birinden küçük bir özet çıkar.
Filtrelenmiş dijital kasa verilerini içeren bir LazyFrame olan digital_rows önceden yüklendi.
Bu egzersiz, kursun bir parçasıdır
Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme
Egzersiz talimatları
- Akış (streaming) motorunda
digital_rowsüzerinde 5.000 satırlık partiler halinde yineleme yap.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
batch_summaries = []
# Stream digital_rows in chunks of 5,000
for batch_no, batch in enumerate(
digital_rows.____(chunk_size=____, engine="streaming"),
start=1,
):
batch_summaries.append(
{
"batch": batch_no,
"rows": batch.height,
"checkouts": batch["checkouts"].sum(),
}
)
result = pl.DataFrame(batch_summaries)
print(result)