V této kapitole se dozvíš, co je datové inženýrství a proč roste poptávka po datových inženýrech. Zjistíš, jaké místo datové inženýrství zaujímá v rámci životního cyklu datové vědy, čím se datový inženýr liší od datového vědce, a seznámíš se svým prvním kompletním datovým pipeline.

Data engineering a big data

Správný tok dat

Mimo zodpovědnost

Velká data v praxi

Datoví inženýři vs. datoví vědci

Řekni mi pravdu

Kdo co dělá

Datový pipeline

Co není pravda

Pipeline

Co je datové inženýrství?

Přišel čas probrat ukládání dat – jednu z klíčových odpovědností datového inženýra. V této kapitole se naučíš, jak datový inženýr pracuje s různými datovými strukturami, jak používá SQL – programovací jazyk první volby pro dotazování a ukládání dat – a jak vybrat vhodné řešení pro ukládání dat pomocí datových jezer a datových skladů.

Datové struktury

Struktury

Jaký je v tom rozdíl

SQL databáze

Pojďme na to

Sloupce

Různá plemena

Datové sklady a datová jezera

Rozhodni se správně

Náš warehouse (uprostřed naší ulice)

Ukládání dat

Datový inženýr usnadňuje práci datovým vědcům tím, že připravuje surová data k analýze pomocí různých technik zpracování. Tyto kroky je potřeba propojit do pipeline, kde nastupuje automatizace. Datový inženýr pak využívá paralelní a cloudové výpočty, aby pipeline běžely plynule.

Zpracování dat

Možnosti

Extract

Transform

Load

Spoj si to dohromady

Plánování zpracování dat

Ručně

Čas

Podmínka

Plánování

Dávka

Stream

Jedno nebo druhé

Paralelní computing

Vždy a za všech okolností?

Správně

Špatně

Paralelní vesmír

Cloud computing

Hlava v oblacích

Computing

Databáze

Somewhere I belong

Jsme šampioni

Přesun a zpracování dat

Lexicon

Course Glossary: Understanding Data Engineering

V roce 2019 průměrný plat datových inženýrů poprvé překonal platy datových vědců. Jak k tomu došlo? Firmy toužící vytěžit maximum ze svých dat zjistily, že to není možné bez dobře vybudované infrastruktury. Datový inženýr pokládá základy, na nichž datová věda stojí.
<br /> <br />
V tomto kurzu se dozvíš, co jsou hlavní povinnosti datového inženýra, jak se liší od datového vědce a jak datový inženýr zajišťuje tok dat v celé organizaci. V praktických cvičeních budeš sledovat fiktivní hudební streamovací platformu Spotflix a zjistíš, jak její datový tým data sbírá, čistí a katalogizuje. Po absolvování kurzu budeš rozumět tomu, co datový inženýr ve firmě dělá, budeš připraven/a s ním vést smysluplný rozhovor a získáš pevné základy pro vlastní cestu datového inženýra.

Videa obsahují živé přepisy, které si zobrazíš kliknutím na „Show transcript" v levém dolním rohu videa.

Glosář kurzu najdeš vpravo v sekci zdrojů.

Pro získání kreditů CPE je potřeba dokončit kurz a dosáhnout skóre alespoň 70 % v závěrečném hodnocení. K hodnocení se dostaneš kliknutím na upozornění na CPE kredity vpravo.

<h2> Pochopte základy datového inženýrství </h2>
<br>
V tomto kurzu se dozvíte o klíčových odpovědnostech datového inženýra, o tom, jak se liší od datových vědců, a jak usnadňovat tok dat napříč organizací. Prostřednictvím praktických cvičení budete sledovat Spotflix, fiktivní společnost pro streamování hudby, abyste pochopili, jak její datoví inženýři shromažďují, čistí a katalogizují svá data. 
<br><br>
<h2> Použít v osobních případech</h2>
<br>
Na konci kurzu budete rozumět tomu, co dělají datoví inženýři ve vaší společnosti, budete připraveni vést rozhovor s datovým inženýrem a získáte pevný základ pro to, abyste mohli začít svou vlastní cestu datového inženýra.

Zjistěte, jak datoví inženýři připravují základy pro datovou vědu. Žádné programování!

Understanding Data Engineering

Zjistěte, jak datoví inženýři vytvářejí základy, díky nimž je datová věda možná. Bez programování!

Asociovaný datový inženýr v SQL

Datový analytik v Databricks

Porozumění datovým tématům

Spuštění pipeline pro kódování skladeb, protože tým vývoje změnil enkodér a chce ověřit, že data stále procházejí validací.

Generování Spotflix Weekly Playlist z 1. kapitoly každé pondělí ve 00:00.

Zpracování hudebních videí nahraných umělci každou hodinu.

Každé ráno stahovat data z Google Analytics a sledovat průběh propagační kampaně.

Spuštění validačních kontrol při příjmu nových videí.

Aktualizace počtu sledujících v tabulce playlistu poté, co ho uživatel začne odebírat.

Plánování

Understanding Data Engineering

Interaktivní praktické cvičení