कस्टम बैच सिंक का उपयोग
ऐसे कस्टम प्रोसेसिंग के लिए जिसे Polars नैटिव तौर पर सपोर्ट नहीं करता, आप अपना function पास कर सकते हैं. टीम चाहती है कि आप यह पैटर्न दिखाएँ, भले ही वे सामान्यतः कोई built-in sink इस्तेमाल करते. digital_rows को पहले से परिभाषित record_batch function के जरिए स्ट्रीम कीजिए.
digital_rows प्रीलोडेड है. एक record_batch(batch) function भी आपके लिए परिभाषित है, जो हर बैच की row count और checkout sum को batch_summaries में रिकॉर्ड करता है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Polars के साथ Data Pipelines का स्केलिंग और ऑप्टिमाइज़ेशन
अभ्यास निर्देश
- स्ट्रीमिंग engine पर 5,000-row बैचों में उस function के जरिए
digital_rowsको स्ट्रीम कीजिए.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)