使用自定义批量下沉
当需要 Polars 尚未原生支持的自定义处理时,您可以传入自己的函数。尽管团队通常会使用内置下沉,这里他们希望看到这种模式。请将 digital_rows 通过预定义的 record_batch 函数进行流式处理。
digital_rows 已预加载。已为您定义了一个 record_batch(batch) 函数,用于将每个批次的行数与结账金额总和记录到 batch_summaries 中。
本练习是课程的一部分
使用 Polars 扩展与优化数据流水线
练习说明
- 在流式引擎上,以每批 5,000 行的方式,通过该函数流式处理
digital_rows。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)