V této kapitole se naučíš pracovat s notebooky v Databricks, načítat CSV data do Spark DataFrames a tvarovat data pomocí PySpark a SQL.

Práce s notebooky v Databricks

Pochopení Databricks notebooků

Načtení prvního datasetu

Prozkoumání logů driveru

Tvarování dat pomocí PySpark a SQL

Tvarování dat s PySparkem

Analýza dat pomocí SQL

Porozumění dočasným pohledům

Načítání a tvarování dat

Naučíš se definovat explicitní schémata, sestavit pipeline pro čištění dat a optimalizovat výkon dotazů pomocí broadcast joinů.

Čištění dat a kontrola kvality

Proč záleží na explicitních schématech

Čištění datasetu online retailu

Výběr správné metriky kvality

Efektivní agregace a spojování dat

Spojování a agregace maloobchodních dat

Proč shuffle zpomaluje dotazy

Kdy použít broadcast join

Čištění a optimalizace dat

Zjistíš, jak počítat průběžné součty a pořadí pomocí okenních funkcí, sestavit streamingové pipeline a nasadit produkční workflow.

Okenní funkce a streamovací dotazy

Řazení zákazníků pomocí okenních funkcí

Streamování maloobchodních dat do Delta Lake

Obnovení po restartu

Produkční pipeline s workflows

Zápis a čtení Delta tabulky

Tvorba pipeline s více úkoly

Proč přejít na Lakeflow?

Závěrečné shrnutí

Analytika a produkční pipeline

transactions

country_lookup

online_retail

Připrav se na práci s velkými daty v reálném prostředí. V tomto kurzu se naučíš transformovat rozsáhlé datové sady pomocí Spark SQL a PySpark v Databricks. Zjistíš, jak data tvarovat a čistit, spouštět agregace s optimalizovanými joiny a pracovat s okenními funkcemi pro pokročilou analytiku. Nastavíš také souborový streaming s odolností vůči chybám a výsledky uložíš jako Delta tabulky. Na konci kurzu budeš umět řídit víceúrovňové produkční pipeline pomocí Databricks Workflows a Lakeflow Declarative Pipelines.


Introduction to Databricks SQL

Introduction to PySpark

Vytvářejte kompletní datové toky - od čištění a agregace po streamování a orchestraci.

Transformace dat pomocí Spark SQL v Databricks

Vytvářejte end-to-end datové pipeline – od čištění a agregace po streaming a orchestration.


Junior datový inženýr v Databricks

Tvorba pipeline s více úkoly

Transformace dat pomocí Spark SQL v Databricks

Interaktivní praktické cvičení