Interpretace DAGu

Teď, když máš soubor s DAGem na správném místě, je čas podívat se do webového rozhraní Airflow.

Najdeš plán DAGu sample?

Toto cvičení je součástí kurzu

Introduction to Data Engineering

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Introduction to Data Engineering

SkillTag.level.intermediateSkillTag.label

4.8+

891 reviews

Začněte kurz zdarma

V první kapitole se ponoříš do světa datového inženýrství! Prozkoumáš rozdíly mezi datovým inženýrem a datovým vědcem, získáš přehled o nástrojích, které datoví inženýři používají, a lépe pochopíš, jakou roli hrají cloudové technologie v datovém inženýrství.

Exercise 1: Co je datové inženýrství?Exercise 2: Úkoly datového inženýra Exercise 3: Datový inženýr nebo datový vědec?Exercise 4: Problémy datového inženýrství Exercise 5: Nástroje datového inženýra Exercise 6: Typy databází Exercise 7: Zpracování dat Exercise 8: Nástroje pro plánování úloh Exercise 9: Poskytovatelé cloudu Exercise 10: Proč cloud computing?Exercise 11: Velcí hráči v cloud computingu Exercise 12: Cloudové služby

Teď, když znáš hlavní rozdíly mezi datovým inženýrem a datovým vědcem, je čas prozkoumat sadu nástrojů datového inženýra! Podrobně se seznámíš s různými typy databází, zjistíš, proč je paralelní výpočet základním kamenem práce datového inženýra, a naučíš se plánovat úlohy zpracování dat pomocí plánovacích frameworků.

Exercise 1: Databáze Exercise 2: SQL vs NoSQL Exercise 3: Schéma databáze Exercise 4: Spojování pomocí relací Exercise 5: Diagram hvězdicového schématu Exercise 6: Co je paralelní výpočet Exercise 7: K čemu slouží paralelní výpočty?Exercise 8: Od úlohy k dílčím úkolům Exercise 9: Práce s DataFrame Exercise 10: Frameworky pro paralelní výpočty Exercise 11: Spark, Hadoop a Hive Exercise 12: Groupby v PySparku Exercise 13: Spouštění souborů PySpark Exercise 14: Frameworky pro plánování workflow Exercise 15: Airflow, Prefect a cron Exercise 16: Airflow DAGs

Teď, když znáš nástroje datových inženýrů, je čas pustit se do jádra jejich každodenní práce! Díky ETL se naučíš, jak extrahovat surová data z různých zdrojů, transformovat je na užitečné poznatky a načíst je do příslušných databází připravených k použití.

Exercise 1: Extrakce Exercise 2: Zdroje dat Exercise 3: Načtení dat z API Exercise 4: Čtení z databáze Exercise 5: Transformace Exercise 6: Rozdělení sazby za půjčení Exercise 7: Příprava na transformace Exercise 8: Spojení s hodnoceními Exercise 9: Načítání Exercise 10: OLAP nebo OLTP Exercise 11: Zápis do souboru Exercise 12: Načtení do Postgresu Exercise 13: Dáme to dohromady Exercise 14: Definice DAGu Exercise 15: Nastavení Airflow Exercise 16: Interpretace DAGu

Aktuální cvičení

Završ vše, co ses naučil/a v předchozích třech kapitolách, a dokonči reálný případ použití datového inženýrství z prostředí DataCampu! Vytvoříš a naplánuješ ETL proces, který přemění surová hodnocení kurzů na konkrétní doporučení kurzů pro studenty DataCampu!

Exercise 1: Hodnocení kurzů Exercise 2: Prozkoumání schématu Exercise 3: Dotazování tabulky Exercise 4: Průměrné hodnocení kurzu Exercise 5: Od hodnocení k doporučením Exercise 6: Odfiltrování poškozených dat Exercise 7: Použití transformace pro doporučování Exercise 8: Plánování každodenních úloh Exercise 9: Cílová tabulka Exercise 10: Definování DAGu Exercise 11: Aktivace DAG Exercise 12: Dotazování na doporučení Exercise 13: Gratulujeme