Di bab ini, Anda akan diperkenalkan pada konsep dasar pemrosesan data batch, mencakup implementasi, penskalaan, dan potensi tantangan saat digunakan.

Pengantar pemrosesan batch

Karakteristik batch

Pengurutan batch

Skalakan pemrosesan batch

Soal skala

Berskala horizontal

Masalah pada batch

Skenario batch

Metode untuk Memproses Data

Di sini, Anda akan mempelajari dasar-dasar streaming, pemrosesan data berbasis peristiwa, serta keunggulannya dibandingkan pemrosesan data berbasis batch tradisional.

Pengantar komputasi berbasis peristiwa

Jika terjadi...

Selamat datang di event!

Pengantrean

Karakteristik antrean

Mengantre atau tidak mengantre

Streaming data dalam satu sistem

Urutan aliran log

Opsi pencatatan log

Batching vs. streaming

Batch, queue, atau stream?

Pemroses aliran log

Pengantar Streaming

Bab ini memperkenalkan konsep di balik sistem streaming modern, cara melakukan penskalaan, dan beberapa isu yang muncul saat menggunakan proses streaming.

Pengantar streaming waktu nyata

Real-time?

Kali ini benar-benar real-time?

Skalabilitas vertikal untuk sistem streaming

Alasan melakukan scaling

Untuk melakukan penskalaan vertikal...?

Menskalakan sistem streaming secara horizontal

Skalakan ke luar

Jaminan SLA

Hambatan dalam streaming

Atribut streaming

Jenis masalah

Tantangan dalam streaming

Sistem Streaming

Pada bab terakhir ini, Anda akan mempelajari sistem streaming yang umum dan meninjau implementasi pemrosesan data streaming dalam berbagai use case.

Sistem streaming populer

Options

Statements

True

False

Kebenaran tentang streaming

Kebutuhan

Celery

Kafka

Spark streaming

Menyilangkan aliran...

Kasus penggunaan dunia nyata: layanan musik streaming

Atribut

Required

Not required

Komponen pesan

Pertanyaan

Bisa dijawab

Tidak bisa dijawab

Jawab pertanyaan ini...

Penggunaan nyata: data sensor

Prioritas SLA

Urutan SLA yang tepat

Proyek

Vertikal

Horizontal

Pertimbangan penskalaan sensor

Kasus penggunaan nyata: klinik vaksinasi

Area

Proses batch

Proses berantrian

Proses streaming

Klinik vaksinasi - klasifikasikan area

Persyaratan

Batch

Queue

Stream

Masalah baru...

Selamat!

Use Case Dunia Nyata

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Sekumpulan sensor suhu untuk satu pusat data, di mana data harus diproses lebih cepat.

Sekelompok sensor lalu lintas, jumlahnya menjadi dua kali lipat, namun harus memproses data dalam SLA yang sama. Karena alasan anggaran, hanya satu server yang dapat digunakan.

Sekumpulan bel pintu tersambung di seluruh dunia, yang harus diseimbangkan berdasarkan lokasi.

Sensor pemakaian daya di seluruh area metropolitan besar, yang tidak boleh memiliki lebih dari 10 sensor per server pusat.

Pertimbangan penskalaan sensor

Konsep Streaming

Latihan interaktif langsung