Airflow, Prefect a cron

Video ti představilo několik nástrojů, které pomáhají s plánováním úloh Spark. Ukázalo také omezení cronu a to, jak vedla ke vzniku frameworků jako Airflow, Prefect a Dagster.

Airflow nabízí spoustu užitečných funkcí, ale dokážeš z níže uvedeného seznamu vybrat tu, kterou poskytuje i cron?

Toto cvičení je součástí kurzu

Introduction to Data Engineering

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Introduction to Data Engineering

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

V první kapitole se ponoříš do světa datového inženýrství! Prozkoumáš rozdíly mezi datovým inženýrem a datovým vědcem, získáš přehled o nástrojích, které datoví inženýři používají, a lépe pochopíš, jakou roli hrají cloudové technologie v datovém inženýrství.

Exercise 1: Co je datové inženýrství?Exercise 2: Úkoly datového inženýra Exercise 3: Datový inženýr nebo datový vědec?Exercise 4: Problémy datového inženýrství Exercise 5: Nástroje datového inženýra Exercise 6: Typy databází Exercise 7: Zpracování dat Exercise 8: Nástroje pro plánování úloh Exercise 9: Poskytovatelé cloudu Exercise 10: Proč cloud computing?Exercise 11: Velcí hráči v cloud computingu Exercise 12: Cloudové služby

Teď, když znáš hlavní rozdíly mezi datovým inženýrem a datovým vědcem, je čas prozkoumat sadu nástrojů datového inženýra! Podrobně se seznámíš s různými typy databází, zjistíš, proč je paralelní výpočet základním kamenem práce datového inženýra, a naučíš se plánovat úlohy zpracování dat pomocí plánovacích frameworků.

Exercise 1: Databáze Exercise 2: SQL vs NoSQL Exercise 3: Schéma databáze Exercise 4: Spojování pomocí relací Exercise 5: Diagram hvězdicového schématu Exercise 6: Co je paralelní výpočet Exercise 7: K čemu slouží paralelní výpočty?Exercise 8: Od úlohy k dílčím úkolům Exercise 9: Práce s DataFrame Exercise 10: Frameworky pro paralelní výpočty Exercise 11: Spark, Hadoop a Hive Exercise 12: Groupby v PySparku Exercise 13: Spouštění souborů PySpark Exercise 14: Frameworky pro plánování workflow Exercise 15: Airflow, Prefect a cron

Aktuální cvičení

Exercise 16: Airflow DAGs

Teď, když znáš nástroje datových inženýrů, je čas pustit se do jádra jejich každodenní práce! Díky ETL se naučíš, jak extrahovat surová data z různých zdrojů, transformovat je na užitečné poznatky a načíst je do příslušných databází připravených k použití.

Exercise 1: Extrakce Exercise 2: Zdroje dat Exercise 3: Načtení dat z API Exercise 4: Čtení z databáze Exercise 5: Transformace Exercise 6: Rozdělení sazby za půjčení Exercise 7: Příprava na transformace Exercise 8: Spojení s hodnoceními Exercise 9: Načítání Exercise 10: OLAP nebo OLTP Exercise 11: Zápis do souboru Exercise 12: Načtení do Postgresu Exercise 13: Dáme to dohromady Exercise 14: Definice DAGu Exercise 15: Nastavení Airflow Exercise 16: Interpretace DAGu

Završ vše, co ses naučil/a v předchozích třech kapitolách, a dokonči reálný případ použití datového inženýrství z prostředí DataCampu! Vytvoříš a naplánuješ ETL proces, který přemění surová hodnocení kurzů na konkrétní doporučení kurzů pro studenty DataCampu!

Exercise 1: Hodnocení kurzů Exercise 2: Prozkoumání schématu Exercise 3: Dotazování tabulky Exercise 4: Průměrné hodnocení kurzu Exercise 5: Od hodnocení k doporučením Exercise 6: Odfiltrování poškozených dat Exercise 7: Použití transformace pro doporučování Exercise 8: Plánování každodenních úloh Exercise 9: Cílová tabulka Exercise 10: Definování DAGu Exercise 11: Aktivace DAG Exercise 12: Dotazování na doporučení Exercise 13: Gratulujeme