Einen eigenen Batch-Sink verwenden

Für individuelles Processing, das Polars nicht nativ unterstützt, kannst du eine eigene Funktion übergeben. Das Team möchte dieses Muster sehen, auch wenn es normalerweise einen eingebauten Sink verwenden würde. Strecke digital_rows durch die vordefinierte Funktion record_batch.

digital_rows ist vorab geladen. Eine Funktion record_batch(batch), die die Zeilenanzahl und die Checkout-Summe jedes Batches in batch_summaries protokolliert, ist ebenfalls für dich definiert.

Diese Übung ist Teil des Kurses

<Kurs>Skalieren und Optimieren von Data-Pipelines mit Polars</Kurs>

Kurs ansehen

Übungsanweisungen

Strecke digital_rows mit der Funktion in Batches zu je 5.000 Zeilen über die Streaming-Engine.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Stream batches through the record_batch function
digital_rows.____(
    record_batch,
    ____=5_000,
    ____="streaming",
)

result = pl.DataFrame(batch_summaries)
print(result)

Code bearbeiten und ausführen