Usare un sink personalizzato per i batch
Per elaborazioni personalizzate non supportate nativamente da Polars, puoi passare una tua funzione. Il team vuole vedere questo approccio anche se normalmente userebbe un sink integrato. Esegui lo streaming di digital_rows attraverso la funzione predefinita record_batch.
digital_rows è già caricato. È anche definita per te una funzione record_batch(batch) che registra, per ciascun batch, il numero di righe e la somma di checkout in batch_summaries.
Questo esercizio fa parte del corso
Scalare e ottimizzare le pipeline di dati con Polars
Istruzioni dell'esercizio
- Esegui lo streaming di
digital_rowsattraverso la funzione in batch da 5.000 righe usando il motore di streaming.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)