커스텀 배치 싱크 사용하기
Polars가 기본적으로 지원하지 않는 커스텀 처리가 필요할 때는 직접 함수를 전달할 수 있습니다. 팀에서는 일반적으로 내장 싱크를 사용하지만, 이번에는 이 패턴을 직접 확인하고자 합니다. 미리 정의된 record_batch 함수를 통해 digital_rows를 스트리밍하세요.
digital_rows는 미리 로드되어 있습니다. 각 배치의 행 수와 결제 합계를 batch_summaries에 기록하는 record_batch(batch) 함수도 이미 정의되어 있습니다.
이 연습은 강의의 일부입니다
Polars로 데이터 파이프라인 확장 및 최적화하기
연습 안내
- 스트리밍 엔진에서
digital_rows를 5,000행 단위의 배치로 해당 함수를 통해 스트리밍하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)