Utilizarea unui sink personalizat pentru loturi
Pentru procesări personalizate pe care Polars nu le suportă nativ, poți transmite propria funcție. Echipa dorește să vadă acest model, chiar dacă în mod normal ar folosi un sink integrat. Transmite digital_rows în flux prin funcția predefinită record_batch.
digital_rows este preîncărcat. O funcție record_batch(batch) care înregistrează numărul de rânduri și suma de la casă a fiecărui lot în batch_summaries este deja definită pentru tine.
Acest exercițiu face parte din cursul
Scalarea și optimizarea pipeline-urilor de date cu Polars
Instrucțiuni pentru exercițiu
- Transmite
digital_rowsîn flux prin funcție în loturi de 5.000 de rânduri, folosind motorul de streaming.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)