V této kapitole se seznámíš se základními koncepty dávkového zpracování dat – jak funguje jeho implementace, jak ho škálovat a s jakými výzvami se při jeho používání můžeš setkat.

Úvod do dávkového zpracování

Vlastnosti dávkového zpracování

Pořadí dávek

Škálování dávkového zpracování

Otázka měřítka

Horizontální protiargument

Problémy dávkového zpracování

Problémy s dávkovým zpracováním

Scénáře pro dávkové zpracování

Metody zpracování dat

Zde se naučíš základy streamingu, zpracování dat řízeného událostmi a zjistíš, jaké výhody přináší oproti tradičnímu dávkovému zpracování dat.

Úvod do výpočetního zpracování na základě událostí

Tvrzení

Pravda

Nepravda

V případě události...

Akce

Událost

Není událost

Vítej na události!

Fronty (Queuing)

Vlastnosti

Popisuje frontu

Nepopisuje frontu

Vlastnosti fronty

Scénář

Použít frontu

Nepoužívat frontu

Fronta, nebo ne?

Streamování dat v rámci jednoho systému

Log událostí pro jeden stream

Pořadí v logovacím streamu

Projekty

Logging

Something else

Co patří do logu

Dávkové zpracování vs. streaming

Scénáře

Dávka

Fronta

Stream

Dávka, fronta, nebo stream?

Zpracování streamovaných logů

Procesor streamovaných logů

Úvod do streamingu

Tato kapitola představuje koncepty moderních streamovacích systémů, způsoby jejich škálování a problémy, se kterými se při streamovacích procesech setkáš.

Úvod do streamování v reálném čase

Real-time?

Je to tentokrát opravdový real-time?

Vertikální škálování streamingových systémů

Důvody pro škálování

Jak vertikálně škálovat...?

Horizontální škálování streamovacích systémů

Škálování v praxi

Záruky SLA

Překážky ve streamingu

Vlastnosti streamingu

Typy problémů

Výzvy streamingu

Streamovací systémy

V této závěrečné kapitole se dozvíš o běžných streamovacích systémech a zamyslíš se nad implementací streamového zpracování dat v různých případech použití.

Populární streamingové systémy

Co je pravda o streamingu

Křižující se streamy...

Příklad z praxe: streamovací hudební služba

Komponenty zprávy

Odpověz na to...

Příklad z praxe: data ze senzorů

Správné seřazení SLA

Škálování senzorových systémů

Příklad z praxe: vakcinační centrum

Vakcinační centrum – klasifikace oblastí

Nový problém...

Gratulujeme!

Reálné případy použití

Streaming je v současném světě dat všudypřítomný a využívají ho téměř všechna odvětví – od výroby až po zdravotnictví. Chceš se dozvědět víc o obecných konceptech datových pipeline a o tom, jak tyto procesy fungují?

Tento kurz nabízí úvod do konceptů streamingu, včetně dávkového zpracování, front zpráv a zpracování streamů, a ukazuje, jak do sebe tyto části zapadají v rámci frameworků pro zpracování dat. Kurz obsahuje reálné příklady toho, jak se streaming nasazuje v produkčních prostředích. Je navržen jako obecný úvod do těchto konceptů a nevyžaduje rozsáhlé znalosti zpracování dat.


Understanding Data Engineering

Poznejte rozdíl mezi dávkováním a streamováním, škálováním streamů a jejich praktické využití.

Koncepty streamingu

Poznejte rozdíl mezi dávkovým zpracováním a streamováním, škálováním streamovacích systémů a reálnými aplikacemi.

Profesionální datový inženýr v Pythonu

Parser přečte informace obsažené v události.

Logika procesu rozhodne, co s daty dál dělat.

Log writer uloží informace do souboru podle potřeby.

Pořadí v logovacím streamu

Koncepty streamingu

Interaktivní praktické cvičení