In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Pengantar pemrosesan batch

Karakteristik

Proses Batch

Other

Karakteristik batch

Pengurutan batch

Skalakan pemrosesan batch

Atribut penskalaan

Penskalaan vertikal

Penskalaan horizontal

Soal skala

Berskala horizontal

Masalah pada batch

Skenario

Sesuai untuk batch

Tidak sesuai untuk batch

Skenario batch

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Masalah pada batch

Konsep Streaming

Latihan interaktif praktis