Di bab ini, Anda akan diperkenalkan pada konsep dasar pemrosesan data batch, mencakup implementasi, penskalaan, dan potensi tantangan saat digunakan.

Pengantar pemrosesan batch

Karakteristik batch

Pengurutan batch

Skalakan pemrosesan batch

Soal skala

Berskala horizontal

Masalah pada batch

Skenario batch

Metode untuk Memproses Data

Di sini, Anda akan mempelajari dasar-dasar streaming, pemrosesan data berbasis peristiwa, serta keunggulannya dibandingkan pemrosesan data berbasis batch tradisional.

Pengantar komputasi berbasis peristiwa

Jika terjadi...

Selamat datang di event!

Pengantrean

Karakteristik antrean

Mengantre atau tidak mengantre

Streaming data dalam satu sistem

Urutan aliran log

Opsi pencatatan log

Batching vs. streaming

Batch, queue, atau stream?

Pemroses aliran log

Pengantar Streaming

Bab ini memperkenalkan konsep di balik sistem streaming modern, cara melakukan penskalaan, dan beberapa isu yang muncul saat menggunakan proses streaming.

Pengantar streaming waktu nyata

Karakteristik

Real-time

Non-real-time

Real-time?

Persyaratan

Kali ini benar-benar real-time?

Skalabilitas vertikal untuk sistem streaming

Alasan melakukan scaling

Opsi

Akan memperbaiki

Tidak akan memperbaiki

Untuk melakukan penskalaan vertikal...?

Menskalakan sistem streaming secara horizontal

Vertikal

Horizontal

Skalakan ke luar

Akan membantu memenuhi SLA

Tidak akan membantu memenuhi SLA

Jaminan SLA

Hambatan dalam streaming

Atribut

Benar

Salah

Atribut streaming

Urutan

Hilang

Tidak berurutan

Tertunda

Jenis masalah

Isu untuk streaming

Isu untuk batching

Tantangan dalam streaming

Sistem Streaming

Pada bab terakhir ini, Anda akan mempelajari sistem streaming yang umum dan meninjau implementasi pemrosesan data streaming dalam berbagai use case.

Sistem streaming populer

Kebenaran tentang streaming

Menyilangkan aliran...

Kasus penggunaan dunia nyata: layanan musik streaming

Komponen pesan

Jawab pertanyaan ini...

Penggunaan nyata: data sensor

Urutan SLA yang tepat

Pertimbangan penskalaan sensor

Kasus penggunaan nyata: klinik vaksinasi

Klinik vaksinasi - klasifikasikan area

Masalah baru...

Selamat!

Use Case Dunia Nyata

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Seorang pelanggan perlu mengurangi waktu yang dibutuhkan untuk memproses suatu item. Anda mengganti CPU dengan yang lebih cepat.

Seorang klien perlu memproses lebih banyak peristiwa secara bersamaan. Anda menggandakan jumlah sistem yang digunakan.

Seorang rekan kerja perlu mengurangi waktu pemrosesan untuk satu peristiwa. Anda menambahkan 3 sistem ke kluster.

Seorang klien ingin meningkatkan proses yang bergantung pada CPU. Sistem ini sudah menggunakan CPU tercepat yang tersedia. Anda menambahkan SSD.

Jaminan SLA

Konsep Streaming

Latihan interaktif langsung