In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Sistem streaming populer

Options

Statements

True

False

Kebenaran tentang streaming

Kebutuhan

Celery

Kafka

Spark streaming

Menyilangkan aliran...

Kasus penggunaan dunia nyata: layanan musik streaming

Atribut

Required

Not required

Komponen pesan

Pertanyaan

Bisa dijawab

Tidak bisa dijawab

Jawab pertanyaan ini...

Penggunaan nyata: data sensor

Prioritas SLA

Urutan SLA yang tepat

Proyek

Vertikal

Horizontal

Pertimbangan penskalaan sensor

Kasus penggunaan nyata: klinik vaksinasi

Area

Proses batch

Proses berantrian

Proses streaming

Klinik vaksinasi - klasifikasikan area

Persyaratan

Batch

Queue

Stream

Masalah baru...

Selamat!

Real-World Use Cases

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Sekumpulan sensor suhu untuk satu pusat data, di mana data harus diproses lebih cepat.

Sekelompok sensor lalu lintas, jumlahnya menjadi dua kali lipat, namun harus memproses data dalam SLA yang sama. Karena alasan anggaran, hanya satu server yang dapat digunakan.

Sekumpulan bel pintu tersambung di seluruh dunia, yang harus diseimbangkan berdasarkan lokasi.

Sensor pemakaian daya di seluruh area metropolitan besar, yang tidak boleh memiliki lebih dari 10 sensor per server pusat.

Pertimbangan penskalaan sensor

Konsep Streaming

Latihan interaktif praktis