カスタムバッチシンクを使う
Polarsが標準でサポートしていないカスタム処理が必要な場合は、独自の関数を渡すことができます。チームは通常、組み込みのシンクを使いますが、このパターンも確認したいと考えています。事前に定義された record_batch 関数を使って、digital_rows をストリーミングしましょう。
digital_rows はあらかじめ読み込まれています。また、各バッチの行数とチェックアウトの合計を batch_summaries に記録する record_batch(batch) 関数も定義済みです。
この演習はコースの一部です
Polars によるデータパイプラインのスケーリングと最適化
演習の手順
- ストリーミングエンジンを使って、
digital_rowsを5,000行ずつのバッチに分けて関数に渡しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)