Użycie własnej funkcji sink dla partii danych
Gdy potrzebujesz niestandardowego przetwarzania, którego Polars nie obsługuje natywnie, możesz przekazać własną funkcję. Zespół chce poznać ten wzorzec, choć normalnie skorzystałby z wbudowanej funkcji sink. Przestrumieniuj digital_rows przez predefiniowaną funkcję record_batch.
digital_rows jest wczytany z wyprzedzeniem. Funkcja record_batch(batch), która zapisuje liczbę wierszy i sumę wartości koszyka z każdej partii do batch_summaries, jest już zdefiniowana.
To ćwiczenie jest częścią kursu
Skalowanie i optymalizacja potoków danych w Polars
Instrukcje do ćwiczenia
- Przestrumieniuj
digital_rowsprzez tę funkcję w partiach po 5 000 wierszy, korzystając z silnika strumieniowania.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)