V této kapitole se seznámíš se základními koncepty dávkového zpracování dat – jak funguje jeho implementace, jak ho škálovat a s jakými výzvami se při jeho používání můžeš setkat.

Úvod do dávkového zpracování

Vlastnosti dávkového zpracování

Pořadí dávek

Škálování dávkového zpracování

Otázka měřítka

Horizontální protiargument

Problémy dávkového zpracování

Problémy s dávkovým zpracováním

Scénáře pro dávkové zpracování

Metody zpracování dat

Zde se naučíš základy streamingu, zpracování dat řízeného událostmi a zjistíš, jaké výhody přináší oproti tradičnímu dávkovému zpracování dat.

Úvod do výpočetního zpracování na základě událostí

V případě události...

Vítej na události!

Fronty (Queuing)

Vlastnosti fronty

Fronta, nebo ne?

Streamování dat v rámci jednoho systému

Pořadí v logovacím streamu

Co patří do logu

Dávkové zpracování vs. streaming

Dávka, fronta, nebo stream?

Procesor streamovaných logů

Úvod do streamingu

Tato kapitola představuje koncepty moderních streamovacích systémů, způsoby jejich škálování a problémy, se kterými se při streamovacích procesech setkáš.

Úvod do streamování v reálném čase

Real-time?

Je to tentokrát opravdový real-time?

Vertikální škálování streamingových systémů

Důvody pro škálování

Jak vertikálně škálovat...?

Horizontální škálování streamovacích systémů

Škálování v praxi

Záruky SLA

Překážky ve streamingu

Vlastnosti streamingu

Typy problémů

Výzvy streamingu

Streamovací systémy

V této závěrečné kapitole se dozvíš o běžných streamovacích systémech a zamyslíš se nad implementací streamového zpracování dat v různých případech použití.

Populární streamingové systémy

Možnosti

Tvrzení

Pravda

Nepravda

Co je pravda o streamingu

Požadavky

Celery

Kafka

Spark Streaming

Křižující se streamy...

Příklad z praxe: streamovací hudební služba

Atributy

Povinné

Nepovinné

Komponenty zprávy

Otázky

Lze odpovědět

Nelze odpovědět

Odpověz na to...

Příklad z praxe: data ze senzorů

Priorita SLA

Správné seřazení SLA

Projekty

Vertikální

Horizontální

Škálování senzorových systémů

Příklad z praxe: vakcinační centrum

Oblasti

Dávkový proces

Frontový proces

Streamovací proces

Vakcinační centrum – klasifikace oblastí

Batch

Queue

Stream

Nový problém...

Gratulujeme!

Reálné případy použití

Streaming je v současném světě dat všudypřítomný a využívají ho téměř všechna odvětví – od výroby až po zdravotnictví. Chceš se dozvědět víc o obecných konceptech datových pipeline a o tom, jak tyto procesy fungují?

Tento kurz nabízí úvod do konceptů streamingu, včetně dávkového zpracování, front zpráv a zpracování streamů, a ukazuje, jak do sebe tyto části zapadají v rámci frameworků pro zpracování dat. Kurz obsahuje reálné příklady toho, jak se streaming nasazuje v produkčních prostředích. Je navržen jako obecný úvod do těchto konceptů a nevyžaduje rozsáhlé znalosti zpracování dat.


Understanding Data Engineering

Poznejte rozdíl mezi dávkováním a streamováním, škálováním streamů a jejich praktické využití.

Koncepty streamingu

Poznejte rozdíl mezi dávkovým zpracováním a streamováním, škálováním streamovacích systémů a reálnými aplikacemi.

Profesionální datový inženýr v Pythonu

Sada teplotních senzorů pro jedno datové centrum, kde je potřeba data zpracovávat rychleji.

Skupina dopravních senzorů, jejichž počet se zdvojnásobil, ale data musí být zpracována ve stejném SLA. Z rozpočtových důvodů lze použít pouze jeden server.

Celosvětová síť připojených domovních zvonků, která by měla být vyvažována podle polohy.

Senzory spotřeby energie rozmístěné po velké metropolitní oblasti, přičemž na jeden centrální server může připadat nejvýše 10 senzorů.

Škálování senzorových systémů

Koncepty streamingu

Interaktivní praktické cvičení