Использование пользовательского батч-приёмника
Если вам нужна нестандартная обработка, которую Polars не поддерживает из коробки, вы можете передать собственную функцию. Команда хочет увидеть этот подход, даже если в обычной ситуации использовался бы встроенный приёмник. Передайте digital_rows через заранее определённую функцию record_batch.
digital_rows уже загружен. Функция record_batch(batch), которая записывает количество строк и сумму покупок каждого батча в batch_summaries, также определена заранее.
Это упражнение является частью курса
Масштабирование и оптимизация конвейеров данных с Polars
Инструкции к упражнению
- Передайте
digital_rowsчерез функцию батчами по 5 000 строк, используя потоковый движок.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)