Menggunakan sink batch kustom

Untuk pemrosesan kustom yang tidak didukung secara native oleh Polars, Anda dapat meneruskan fungsi Anda sendiri. Tim ingin melihat pola ini meskipun biasanya mereka akan menggunakan sink bawaan. Stream digital_rows melalui fungsi record_batch yang telah didefinisikan.

digital_rows sudah dimuat. Fungsi record_batch(batch) yang mencatat jumlah baris dan total checkout tiap batch ke dalam batch_summaries juga telah disiapkan untuk Anda.

Latihan ini merupakan bagian dari kursus

Menskalakan dan Mengoptimalkan Pipeline Data dengan Polars

Lihat Kursus

Instruksi latihan

Stream digital_rows melalui fungsi tersebut dalam batch 5.000 baris pada engine streaming.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Stream batches through the record_batch function
digital_rows.____(
    record_batch,
    ____=5_000,
    ____="streaming",
)

result = pl.DataFrame(batch_summaries)
print(result)

Edit dan Jalankan Kode