Використання власного приймача пакетів
Для кастомної обробки, яку Polars не підтримує з коробки, ви можете передати власну функцію. Команда хоче побачити цей підхід, хоча зазвичай вони б використали вбудований приймач. Передайте digital_rows через заздалегідь визначену функцію record_batch.
digital_rows вже завантажено. Також для вас визначено функцію record_batch(batch), яка записує для кожного пакета кількість рядків і суму checkout у batch_summaries.
Ця вправа є частиною курсу
Масштабування й оптимізація конвеєрів даних з Polars
Інструкції до вправи
- Передайте
digital_rowsу функцію потоками по 5 000 рядків, використовуючи streaming-двигун.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)