Använda en anpassad batch-sink
För anpassad bearbetning som Polars inte stöder inbyggt kan du skicka in en egen funktion. Teamet vill se det här mönstret, även om man normalt skulle använda en inbyggd sink. Streama digital_rows genom den fördefinierade funktionen record_batch.
digital_rows är förinstansierad. En funktion record_batch(batch) som registrerar radantal och kassasumma för varje batch i batch_summaries är också definierad åt dig.
Den här övningen är en del av kursen
Skalning och optimering av datapipelines med Polars
Övningsinstruktioner
- Streama
digital_rowsgenom funktionen i batchar om 5 000 rader med streaming-motorn.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)