Použití vlastního batch sinku
Pro vlastní zpracování, které Polars nativně nepodporuje, můžeš předat vlastní funkci. Tým chce vidět tento přístup, i když by v praxi použil vestavěný sink. Streamuj digital_rows přes předem definovanou funkci record_batch.
digital_rows je předem načteno. Funkce record_batch(batch), která zaznamenává počet řádků a součet checkoutů každé dávky do batch_summaries, je také připravena.
Toto cvičení je součástí kurzu
Scaling and Optimizing Data Pipelines with Polars
Pokyny k cvičení
- Streamuj
digital_rowspřes funkci v dávkách po 5 000 řádcích na streamovacím enginu.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)