In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Pengantar komputasi berbasis peristiwa

Pernyataan

True

False

Jika terjadi...

Actions

Event

Bukan event

Selamat datang di event!

Pengantrean

Karakteristik

Menggambarkan antrean

Tidak menggambarkan antrean

Karakteristik antrean

Skenario

Gunakan antrean (queue)

Jangan gunakan antrean (queue)

Mengantre atau tidak mengantre

Streaming data dalam satu sistem

Log peristiwa aliran tunggal

Urutan aliran log

Projects

Logging

Something else

Opsi pencatatan log

Batching vs. streaming

Batch

Queue

Stream

Batch, queue, atau stream?

Proses Log Streaming

Pemroses aliran log

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Memproses semua item yang diterima hingga pukul 13.00 setiap hari.

Membuat grup berisi 10 gambar acak setiap 2 jam.

Memproses komentar pengguna sesuai urutan diterima, tetapi hanya saat sistem memiliki kapasitas pemrosesan yang tersisa.

Menyimpan klik pengguna pada aplikasi web begitu data tiba.

Memproses permintaan lagu pengguna secepat mungkin, tanpa penundaan.

Batch, queue, atau stream?

Konsep Streaming

Latihan interaktif praktis