V této kapitole se seznámíš se základními koncepty dávkového zpracování dat – jak funguje jeho implementace, jak ho škálovat a s jakými výzvami se při jeho používání můžeš setkat.

Úvod do dávkového zpracování

Vlastnosti dávkového zpracování

Pořadí dávek

Škálování dávkového zpracování

Otázka měřítka

Horizontální protiargument

Problémy dávkového zpracování

Problémy s dávkovým zpracováním

Scénáře pro dávkové zpracování

Metody zpracování dat

Zde se naučíš základy streamingu, zpracování dat řízeného událostmi a zjistíš, jaké výhody přináší oproti tradičnímu dávkovému zpracování dat.

Úvod do výpočetního zpracování na základě událostí

V případě události...

Vítej na události!

Fronty (Queuing)

Vlastnosti fronty

Fronta, nebo ne?

Streamování dat v rámci jednoho systému

Pořadí v logovacím streamu

Co patří do logu

Dávkové zpracování vs. streaming

Dávka, fronta, nebo stream?

Procesor streamovaných logů

Úvod do streamingu

Tato kapitola představuje koncepty moderních streamovacích systémů, způsoby jejich škálování a problémy, se kterými se při streamovacích procesech setkáš.

Úvod do streamování v reálném čase

Real-time?

Je to tentokrát opravdový real-time?

Vertikální škálování streamingových systémů

Důvody pro škálování

Jak vertikálně škálovat...?

Horizontální škálování streamovacích systémů

Škálování v praxi

Záruky SLA

Překážky ve streamingu

Vlastnosti streamingu

Typy problémů

Výzvy streamingu

Streamovací systémy

V této závěrečné kapitole se dozvíš o běžných streamovacích systémech a zamyslíš se nad implementací streamového zpracování dat v různých případech použití.

Populární streamingové systémy

Možnosti

Tvrzení

Pravda

Nepravda

Co je pravda o streamingu

Požadavky

Celery

Kafka

Spark Streaming

Křižující se streamy...

Příklad z praxe: streamovací hudební služba

Atributy

Povinné

Nepovinné

Komponenty zprávy

Otázky

Lze odpovědět

Nelze odpovědět

Odpověz na to...

Příklad z praxe: data ze senzorů

Priorita SLA

Správné seřazení SLA

Projekty

Vertikální

Horizontální

Škálování senzorových systémů

Příklad z praxe: vakcinační centrum

Oblasti

Dávkový proces

Frontový proces

Streamovací proces

Vakcinační centrum – klasifikace oblastí

Batch

Queue

Stream

Nový problém...

Gratulujeme!

Reálné případy použití

Streaming je v současném světě dat všudypřítomný a využívají ho téměř všechna odvětví – od výroby až po zdravotnictví. Chceš se dozvědět víc o obecných konceptech datových pipeline a o tom, jak tyto procesy fungují?

Tento kurz nabízí úvod do konceptů streamingu, včetně dávkového zpracování, front zpráv a zpracování streamů, a ukazuje, jak do sebe tyto části zapadají v rámci frameworků pro zpracování dat. Kurz obsahuje reálné příklady toho, jak se streaming nasazuje v produkčních prostředích. Je navržen jako obecný úvod do těchto konceptů a nevyžaduje rozsáhlé znalosti zpracování dat.


Understanding Data Engineering

Poznejte rozdíl mezi dávkováním a streamováním, škálováním streamů a jejich praktické využití.

Koncepty streamingu

Poznejte rozdíl mezi dávkovým zpracováním a streamováním, škálováním streamovacích systémů a reálnými aplikacemi.

Profesionální datový inženýr v Pythonu

Změna velikosti profilového obrázku uživatele na standardní formáty

Odeslání uvítacího e-mailu, když se uživatel přihlásí k nové třídě

Předávání e-mailů skupině systémů, z nichž každý potřebuje vlastní kopii

Ukládání interakcí uživatelů na neomezenou dobu.

Rychlé zpracování velkého množství zpráv a předpovídání, zda je jejich obsah pozitivní, nebo negativní

Převod velkého množství zpráv z jednoho formátu do druhého

Křižující se streamy...

Koncepty streamingu

Interaktivní praktické cvičení