V této kapitole se seznámíš se základními koncepty dávkového zpracování dat – jak funguje jeho implementace, jak ho škálovat a s jakými výzvami se při jeho používání můžeš setkat.

Úvod do dávkového zpracování

Vlastnosti dávkového zpracování

Pořadí dávek

Škálování dávkového zpracování

Otázka měřítka

Horizontální protiargument

Problémy dávkového zpracování

Problémy s dávkovým zpracováním

Scénáře pro dávkové zpracování

Metody zpracování dat

Zde se naučíš základy streamingu, zpracování dat řízeného událostmi a zjistíš, jaké výhody přináší oproti tradičnímu dávkovému zpracování dat.

Úvod do výpočetního zpracování na základě událostí

V případě události...

Vítej na události!

Fronty (Queuing)

Vlastnosti fronty

Fronta, nebo ne?

Streamování dat v rámci jednoho systému

Pořadí v logovacím streamu

Co patří do logu

Dávkové zpracování vs. streaming

Dávka, fronta, nebo stream?

Procesor streamovaných logů

Úvod do streamingu

Tato kapitola představuje koncepty moderních streamovacích systémů, způsoby jejich škálování a problémy, se kterými se při streamovacích procesech setkáš.

Úvod do streamování v reálném čase

Charakteristiky

Real-time

Non-realtime

Real-time?

Požadavky

Reálný čas

Mimo reálný čas

Je to tentokrát opravdový real-time?

Vertikální škálování streamingových systémů

Důvody pro škálování

Možnosti

Zlepší

Nezlepší

Jak vertikálně škálovat...?

Horizontální škálování streamovacích systémů

Vertikální

Horizontální

Škálování v praxi

Pomohlo by splnit SLA

Nepomohlo by splnit SLA

Záruky SLA

Překážky ve streamingu

Vlastnosti

Pravda

Nepravda

Vlastnosti streamingu

Sekvence

Chybějící

Mimo pořadí

Zpožděné

Typy problémů

Problémy streamingu

Výzvy streamingu

Streamovací systémy

V této závěrečné kapitole se dozvíš o běžných streamovacích systémech a zamyslíš se nad implementací streamového zpracování dat v různých případech použití.

Populární streamingové systémy

Co je pravda o streamingu

Křižující se streamy...

Příklad z praxe: streamovací hudební služba

Komponenty zprávy

Odpověz na to...

Příklad z praxe: data ze senzorů

Správné seřazení SLA

Škálování senzorových systémů

Příklad z praxe: vakcinační centrum

Vakcinační centrum – klasifikace oblastí

Nový problém...

Gratulujeme!

Reálné případy použití

Streaming je v současném světě dat všudypřítomný a využívají ho téměř všechna odvětví – od výroby až po zdravotnictví. Chceš se dozvědět víc o obecných konceptech datových pipeline a o tom, jak tyto procesy fungují?

Tento kurz nabízí úvod do konceptů streamingu, včetně dávkového zpracování, front zpráv a zpracování streamů, a ukazuje, jak do sebe tyto části zapadají v rámci frameworků pro zpracování dat. Kurz obsahuje reálné příklady toho, jak se streaming nasazuje v produkčních prostředích. Je navržen jako obecný úvod do těchto konceptů a nevyžaduje rozsáhlé znalosti zpracování dat.


Understanding Data Engineering

Poznejte rozdíl mezi dávkováním a streamováním, škálováním streamů a jejich praktické využití.

Koncepty streamingu

Poznejte rozdíl mezi dávkovým zpracováním a streamováním, škálováním streamovacích systémů a reálnými aplikacemi.

Profesionální datový inženýr v Pythonu

Zákazník potřebuje zkrátit dobu zpracování konkrétní položky. Vyměníš procesor za rychlejší.

Klient potřebuje zpracovávat více událostí současně. Zdvojnásobíš počet používaných systémů.

Kolega potřebuje zkrátit dobu zpracování jedné události. Přidáš do clusteru 3 další systémy.

Klient chce zlepšit výkon procesu, který je omezen výkonem procesoru. Systém už má nejrychlejší dostupný CPU. Přidáš SSD.

Záruky SLA

Koncepty streamingu

Interaktivní praktické cvičení