In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Pengantar streaming waktu nyata

Karakteristik

Real-time

Non-real-time

Real-time?

Persyaratan

Kali ini benar-benar real-time?

Skalabilitas vertikal untuk sistem streaming

Alasan melakukan scaling

Opsi

Akan memperbaiki

Tidak akan memperbaiki

Untuk melakukan penskalaan vertikal...?

Menskalakan sistem streaming secara horizontal

Vertikal

Horizontal

Skalakan ke luar

Akan membantu memenuhi SLA

Tidak akan membantu memenuhi SLA

Jaminan SLA

Hambatan dalam streaming

Atribut

Benar

Salah

Atribut streaming

Urutan

Hilang

Tidak berurutan

Tertunda

Jenis masalah

Isu untuk streaming

Isu untuk batching

Tantangan dalam streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Seorang pelanggan perlu mengurangi waktu yang dibutuhkan untuk memproses suatu item. Anda mengganti CPU dengan yang lebih cepat.

Seorang klien perlu memproses lebih banyak peristiwa secara bersamaan. Anda menggandakan jumlah sistem yang digunakan.

Seorang rekan kerja perlu mengurangi waktu pemrosesan untuk satu peristiwa. Anda menambahkan 3 sistem ke kluster.

Seorang klien ingin meningkatkan proses yang bergantung pada CPU. Sistem ini sudah menggunakan CPU tercepat yang tersedia. Anda menambahkan SSD.

Jaminan SLA

Konsep Streaming

Latihan interaktif praktis