In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Pengantar streaming waktu nyata

Karakteristik

Real-time

Non-real-time

Real-time?

Persyaratan

Kali ini benar-benar real-time?

Skalabilitas vertikal untuk sistem streaming

Alasan melakukan scaling

Opsi

Akan memperbaiki

Tidak akan memperbaiki

Untuk melakukan penskalaan vertikal...?

Menskalakan sistem streaming secara horizontal

Vertikal

Horizontal

Skalakan ke luar

Akan membantu memenuhi SLA

Tidak akan membantu memenuhi SLA

Jaminan SLA

Hambatan dalam streaming

Atribut

Benar

Salah

Atribut streaming

Urutan

Hilang

Tidak berurutan

Tertunda

Jenis masalah

Isu untuk streaming

Isu untuk batching

Tantangan dalam streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Proses streaming sering memerlukan memori ekstra untuk mempertahankan state

Proses streaming sering diimplementasikan sebagai log yang immutable

Data streaming biasanya merepresentasikan peristiwa yang telah selesai

Data streaming memiliki titik akhir yang diketahui

Proses streaming harus menyimpan data di disk sebelum diproses

Atribut streaming

Konsep Streaming

Latihan interaktif praktis