V této kapitole se dozvíš, co je datové inženýrství a proč roste poptávka po datových inženýrech. Zjistíš, jaké místo datové inženýrství zaujímá v rámci životního cyklu datové vědy, čím se datový inženýr liší od datového vědce, a seznámíš se svým prvním kompletním datovým pipeline.

Data engineering a big data

Správný tok dat

Mimo zodpovědnost

Velká data v praxi

Datoví inženýři vs. datoví vědci

Řekni mi pravdu

Kdo co dělá

Datový pipeline

Co není pravda

Pipeline

Co je datové inženýrství?

Přišel čas probrat ukládání dat – jednu z klíčových odpovědností datového inženýra. V této kapitole se naučíš, jak datový inženýr pracuje s různými datovými strukturami, jak používá SQL – programovací jazyk první volby pro dotazování a ukládání dat – a jak vybrat vhodné řešení pro ukládání dat pomocí datových jezer a datových skladů.

Datové struktury

Struktury

Možnosti

Strukturovaná

Polostrukturovaná

Nestrukturovaná

Jaký je v tom rozdíl

SQL databáze

Pojďme na to

Sloupce

Datoví inženýři

Datový vědec

Různá plemena

Datové sklady a datová jezera

Rozhodni se správně

Data lake

Data warehouse

Náš warehouse (uprostřed naší ulice)

Ukládání dat

Datový inženýr usnadňuje práci datovým vědcům tím, že připravuje surová data k analýze pomocí různých technik zpracování. Tyto kroky je potřeba propojit do pipeline, kde nastupuje automatizace. Datový inženýr pak využívá paralelní a cloudové výpočty, aby pipeline běžely plynule.

Zpracování dat

Spoj si to dohromady

Plánování zpracování dat

Plánování

Jedno nebo druhé

Paralelní computing

Vždy a za všech okolností?

Paralelní vesmír

Cloud computing

Hlava v oblacích

Somewhere I belong

Jsme šampioni

Přesun a zpracování dat

Lexicon

Course Glossary: Understanding Data Engineering

V roce 2019 průměrný plat datových inženýrů poprvé překonal platy datových vědců. Jak k tomu došlo? Firmy toužící vytěžit maximum ze svých dat zjistily, že to není možné bez dobře vybudované infrastruktury. Datový inženýr pokládá základy, na nichž datová věda stojí.
<br /> <br />
V tomto kurzu se dozvíš, co jsou hlavní povinnosti datového inženýra, jak se liší od datového vědce a jak datový inženýr zajišťuje tok dat v celé organizaci. V praktických cvičeních budeš sledovat fiktivní hudební streamovací platformu Spotflix a zjistíš, jak její datový tým data sbírá, čistí a katalogizuje. Po absolvování kurzu budeš rozumět tomu, co datový inženýr ve firmě dělá, budeš připraven/a s ním vést smysluplný rozhovor a získáš pevné základy pro vlastní cestu datového inženýra.

Videa obsahují živé přepisy, které si zobrazíš kliknutím na „Show transcript" v levém dolním rohu videa.

Glosář kurzu najdeš vpravo v sekci zdrojů.

Pro získání kreditů CPE je potřeba dokončit kurz a dosáhnout skóre alespoň 70 % v závěrečném hodnocení. K hodnocení se dostaneš kliknutím na upozornění na CPE kredity vpravo.

<h2> Pochopte základy datového inženýrství </h2>
<br>
V tomto kurzu se dozvíte o klíčových odpovědnostech datového inženýra, o tom, jak se liší od datových vědců, a jak usnadňovat tok dat napříč organizací. Prostřednictvím praktických cvičení budete sledovat Spotflix, fiktivní společnost pro streamování hudby, abyste pochopili, jak její datoví inženýři shromažďují, čistí a katalogizují svá data. 
<br><br>
<h2> Použít v osobních případech</h2>
<br>
Na konci kurzu budete rozumět tomu, co dělají datoví inženýři ve vaší společnosti, budete připraveni vést rozhovor s datovým inženýrem a získáte pevný základ pro to, abyste mohli začít svou vlastní cestu datového inženýra.

Zjistěte, jak datoví inženýři připravují základy pro datovou vědu. Žádné programování!

Understanding Data Engineering

Zjistěte, jak datoví inženýři vytvářejí základy, díky nimž je datová věda možná. Bez programování!

Asociovaný datový inženýr v SQL

Datový analytik v Databricks

Porozumění datovým tématům

Vytvoření nové tabulky pro ukládání písniček, které zákazníci poslouchali nejvíce za poslední rok.

Aktualizace tabulky interpreta poté, co upravil svou biografii.

Úprava celé tabulky písniček za účelem odstranění mezer na začátku názvů, které tam omylem přibyly.

Dotazování na nejposlouchanější písničky za poslední rok s cílem zjistit, který žánr dominoval.

Dotazování tabulky textů písniček pro nalezení všech skladeb, které mají v názvu slovo „data".

Dotazování tabulky interpretů pro nalezení všech kapel pocházejících z Francie.

Různá plemena

Understanding Data Engineering

Interaktivní praktické cvičení