Een aangepaste batch-sink gebruiken

Voor maatwerkverwerking die Polars niet standaard ondersteunt, kun je je eigen functie meegeven. Het team wil dit patroon zien, ook al zouden ze normaal een ingebouwde sink gebruiken. Stream digital_rows door de vooraf gedefinieerde functie record_batch.

digital_rows is al geladen. Een functie record_batch(batch) die per batch het aantal rijen en de som van checkout vastlegt in batch_summaries is ook voor je gedefinieerd.

Deze oefening maakt deel uit van de cursus

Data-pipelines schalen en optimaliseren met Polars

Bekijk cursus

Oefeninstructies

Stream digital_rows via de functie in batches van 5.000 rijen op de streaming-engine.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Stream batches through the record_batch function
digital_rows.____(
    record_batch,
    ____=5_000,
    ____="streaming",
)

result = pl.DataFrame(batch_summaries)
print(result)

Code bewerken en uitvoeren