In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Sistem streaming populer

Options

Statements

True

False

Kebenaran tentang streaming

Kebutuhan

Celery

Kafka

Spark streaming

Menyilangkan aliran...

Kasus penggunaan dunia nyata: layanan musik streaming

Atribut

Required

Not required

Komponen pesan

Pertanyaan

Bisa dijawab

Tidak bisa dijawab

Jawab pertanyaan ini...

Penggunaan nyata: data sensor

Prioritas SLA

Urutan SLA yang tepat

Proyek

Vertikal

Horizontal

Pertimbangan penskalaan sensor

Kasus penggunaan nyata: klinik vaksinasi

Area

Proses batch

Proses berantrian

Proses streaming

Klinik vaksinasi - klasifikasikan area

Persyaratan

Batch

Queue

Stream

Masalah baru...

Selamat!

Real-World Use Cases

Streaming adalah aspek besar dalam dunia data saat ini dan digunakan oleh hampir semua industri, dari manufaktur hingga layanan kesehatan. Apakah Anda ingin mempelajari lebih lanjut tentang konsep umum di balik pipeline data dan bagaimana prosesnya bekerja?

Kursus ini memberikan pengenalan umum tentang konsep streaming termasuk batching, antrean (queuing), dan pemrosesan stream beserta perannya dalam kerangka kerja pemrosesan data. Kursus ini membahas contoh nyata tentang bagaimana streaming diimplementasikan dalam produksi. Kursus ini dirancang sebagai pengantar umum untuk konsep-konsep tersebut dan tidak memerlukan latar belakang mendalam dalam pemrosesan data.


Understanding Data Engineering

Pelajari perbedaan batching dan streaming, skala sistem streaming, dan aplikasi dunia nyata.

Konsep Streaming

Pelajari perbedaan antara batching dan streaming, skalabilitas sistem streaming, dan penerapan di dunia nyata.

Insinyur Data Profesional dalam Python

Spark streaming dapat digunakan untuk transisi dari beban kerja batch

Kafka dapat menyimpan pesan tanpa batas waktu, selama ada ruang yang memadai

Spark streaming dapat menyimpan pesan tanpa batas waktu

Kebenaran tentang streaming

Konsep Streaming

Latihan interaktif praktis