V první kapitole se ponoříš do světa datového inženýrství! Prozkoumáš rozdíly mezi datovým inženýrem a datovým vědcem, získáš přehled o nástrojích, které datoví inženýři používají, a lépe pochopíš, jakou roli hrají cloudové technologie v datovém inženýrství.

Co je datové inženýrství?

Úkoly datového inženýra

Datový inženýr nebo datový vědec?

Problémy datového inženýrství

Nástroje datového inženýra

Typy databází

Zpracování dat

Nástroje pro plánování úloh

Poskytovatelé cloudu

Proč cloud computing?

Velcí hráči v cloud computingu

Cloudové služby

Úvod do datového inženýrství

Teď, když znáš hlavní rozdíly mezi datovým inženýrem a datovým vědcem, je čas prozkoumat sadu nástrojů datového inženýra! Podrobně se seznámíš s různými typy databází, zjistíš, proč je paralelní výpočet základním kamenem práce datového inženýra, a naučíš se plánovat úlohy zpracování dat pomocí plánovacích frameworků.

Databáze

Přiřazení

NoSQL

SQL vs NoSQL

Schéma databáze

Spojování pomocí relací

Diagram hvězdicového schématu

Co je paralelní výpočet

K čemu slouží paralelní výpočty?

Od úlohy k dílčím úkolům

Práce s DataFrame

Frameworky pro paralelní výpočty

Karty

Hadoop

PySpark

Hive

Spark, Hadoop a Hive

Groupby v PySparku

Spouštění souborů PySpark

Frameworky pro plánování workflow

Airflow, Luigi a cron

Airflow DAGs

Teď, když znáš nástroje datových inženýrů, je čas pustit se do jádra jejich každodenní práce! Díky ETL se naučíš, jak extrahovat surová data z různých zdrojů, transformovat je na užitečné poznatky a načíst je do příslušných databází připravených k použití.

Extrakce

Zdroje dat

Načtení dat z API

Čtení z databáze

Transformace

Rozdělení sazby za půjčení

Příprava na transformace

Spojení s hodnoceními

Načítání

OLAP nebo OLTP

Zápis do souboru

Načtení do Postgresu

Dáme to dohromady

Definování DAG

Nastavení Airflow

Interpretace DAGu

Extrakce, transformace a načítání dat (ETL)

Završ vše, co ses naučil/a v předchozích třech kapitolách, a dokonči reálný případ použití datového inženýrství z prostředí DataCampu! Vytvoříš a naplánuješ ETL proces, který přemění surová hodnocení kurzů na konkrétní doporučení kurzů pro studenty DataCampu!

Hodnocení kurzů

Prozkoumání schématu

Dotazování tabulky

Průměrné hodnocení kurzu

Od hodnocení k doporučením

Odfiltrování poškozených dat

Použití transformace pro doporučování

Plánování každodenních úloh

Cílová tabulka

Definice DAGu

Aktivace DAG

Dotazování na doporučení

Gratulujeme

Případová studie: DataCamp

datacamp_application.sql

Slyšel/a jsi o datoví inženýrech a zajímá tě, co vlastně dělají? Nebo víš, čemu se věnují, ale nejsi si jistý/á, jak se jím sám/sama stát? Tento kurz je ideálním úvodem. Dotkne se všeho, co potřebuješ vědět pro efektivní zpracování dat. Získáš dostatek kontextu, abys mohl/a začít objevovat svět datového inženýrství. Kurz je ideální pro lidi, kteří pracují ve firmě s více datovými zdroji a nemají jasnou představu, jak je využít škálovatelným způsobem. Zaveď tyto techniky jako první ve své firmě a staň se jejím klíčovým hráčem.

<h2>Začněte s datovým inženýrstvím</h2> 
Zajímá vás kariéra v datovém inženýrství, ale nevíte, kde začít? Nebo možná chcete získat více informací o tom, co datoví inženýři dělají, než podniknete další kroky? Tento čtyřhodinový kurz je úvodem do datového inženýrství a základních konceptů, technik a nástrojů, které potřebujete znát, abyste tuto práci zvládli.
<br><br> 
<h2>Naučte se koncepty a techniky datového inženýrství</h2> 
Začnete tím, že se naučíte rozdíly mezi datovým inženýrem a datovým vědcem (a jak spolu spolupracují), než se dozvíte více o pracovních nástrojích, konkrétně o cloud computingu a paralelním computingu. Na konci druhé kapitoly budete rozumět využití SQL a NoSQL, práci s DataFrames a tomu, proč je paralelní výpočet tak důležitý.
<br><br> 
<h2>Provádějte ETL v praktických cvičeních</h2> 
Proces ETL je klíčovou součástí práce datového inženýra. Naučíte se, jak se data extrahují, transformují a načítají, aby byla připravena k analýze a získávání poznatků. Na konci kurzu si všechny tyto znalosti vyzkoušíš v praxi tím, že sám/sama provedeš a naplánuješ proces ETL s využitím reálných dat.
<br><br> 
Naše cvičení a interaktivní testy vám umožní zopakovat si a upevnit nové znalosti, takže si budete jistí při jejich používání i při diskusi o nich, jakmile obdržíte své Osvědčení o absolvování.
<br><br> 
Tento úvodní kurz je součástí specializace datového inženýrství, která vám nabízí cesty, jak prohloubit své porozumění datovému inženýrství, a jasně vymezené další kroky na cestě k tomu, abyste se stali profesionálním datovým inženýrem.

Intermediate Python

Intermediate SQL

Začněte cestu k datovému inženýrství dnes. Naučte se základy v tomto čtyřhodinovém kurzu.

Introduction to Data Engineering

Poznejte svět data engineeringu v tomto krátkém kurzu, který pokrývá nástroje a témata jako ETL a cloud computing. 

Diagram hvězdicového schématu

Introduction to Data Engineering

Interaktivní praktické cvičení