1. Learn
  2. /
  3. Курси
  4. /
  5. Масштабування й оптимізація конвеєрів даних з Polars

Connected

Вправа

Використання власного приймача пакетів

Для кастомної обробки, яку Polars не підтримує з коробки, ви можете передати власну функцію. Команда хоче побачити цей підхід, хоча зазвичай вони б використали вбудований приймач. Передайте digital_rows через заздалегідь визначену функцію record_batch.

digital_rows вже завантажено. Також для вас визначено функцію record_batch(batch), яка записує для кожного пакета кількість рядків і суму checkout у batch_summaries.

Інструкції

100 XP
  • Передайте digital_rows у функцію потоками по 5 000 рядків, використовуючи streaming-двигун.