V této kapitole se dozvíš, co je datové inženýrství a proč roste poptávka po datových inženýrech. Zjistíš, jaké místo datové inženýrství zaujímá v rámci životního cyklu datové vědy, čím se datový inženýr liší od datového vědce, a seznámíš se svým prvním kompletním datovým pipeline.

Data engineering a big data

Datavědecký proces

Správný tok dat

Možnosti

Úkoly datového inženýrství

Úkoly mimo datové inženýrství

Mimo zodpovědnost

Pravda

Nepravda

Velká data v praxi

Datoví inženýři vs. datoví vědci

Řekni mi pravdu

Data inženýr

Datový vědec

Kdo co dělá

Datový pipeline

Co není pravda

Data science workflow

Pipeline

Co je datové inženýrství?

Přišel čas probrat ukládání dat – jednu z klíčových odpovědností datového inženýra. V této kapitole se naučíš, jak datový inženýr pracuje s různými datovými strukturami, jak používá SQL – programovací jazyk první volby pro dotazování a ukládání dat – a jak vybrat vhodné řešení pro ukládání dat pomocí datových jezer a datových skladů.

Datové struktury

Struktury

Jaký je v tom rozdíl

SQL databáze

Pojďme na to

Sloupce

Různá plemena

Datové sklady a datová jezera

Rozhodni se správně

Náš warehouse (uprostřed naší ulice)

Ukládání dat

Datový inženýr usnadňuje práci datovým vědcům tím, že připravuje surová data k analýze pomocí různých technik zpracování. Tyto kroky je potřeba propojit do pipeline, kde nastupuje automatizace. Datový inženýr pak využívá paralelní a cloudové výpočty, aby pipeline běžely plynule.

Zpracování dat

Spoj si to dohromady

Plánování zpracování dat

Plánování

Jedno nebo druhé

Paralelní computing

Vždy a za všech okolností?

Paralelní vesmír

Cloud computing

Hlava v oblacích

Somewhere I belong

Jsme šampioni

Přesun a zpracování dat

Lexicon

Course Glossary: Understanding Data Engineering

V roce 2019 průměrný plat datových inženýrů poprvé překonal platy datových vědců. Jak k tomu došlo? Firmy toužící vytěžit maximum ze svých dat zjistily, že to není možné bez dobře vybudované infrastruktury. Datový inženýr pokládá základy, na nichž datová věda stojí.
<br /> <br />
V tomto kurzu se dozvíš, co jsou hlavní povinnosti datového inženýra, jak se liší od datového vědce a jak datový inženýr zajišťuje tok dat v celé organizaci. V praktických cvičeních budeš sledovat fiktivní hudební streamovací platformu Spotflix a zjistíš, jak její datový tým data sbírá, čistí a katalogizuje. Po absolvování kurzu budeš rozumět tomu, co datový inženýr ve firmě dělá, budeš připraven/a s ním vést smysluplný rozhovor a získáš pevné základy pro vlastní cestu datového inženýra.

Videa obsahují živé přepisy, které si zobrazíš kliknutím na „Show transcript" v levém dolním rohu videa.

Glosář kurzu najdeš vpravo v sekci zdrojů.

Pro získání kreditů CPE je potřeba dokončit kurz a dosáhnout skóre alespoň 70 % v závěrečném hodnocení. K hodnocení se dostaneš kliknutím na upozornění na CPE kredity vpravo.

<h2> Pochopte základy datového inženýrství </h2>
<br>
V tomto kurzu se dozvíte o klíčových odpovědnostech datového inženýra, o tom, jak se liší od datových vědců, a jak usnadňovat tok dat napříč organizací. Prostřednictvím praktických cvičení budete sledovat Spotflix, fiktivní společnost pro streamování hudby, abyste pochopili, jak její datoví inženýři shromažďují, čistí a katalogizují svá data. 
<br><br>
<h2> Použít v osobních případech</h2>
<br>
Na konci kurzu budete rozumět tomu, co dělají datoví inženýři ve vaší společnosti, budete připraveni vést rozhovor s datovým inženýrem a získáte pevný základ pro to, abyste mohli začít svou vlastní cestu datového inženýra.

Zjistěte, jak datoví inženýři připravují základy pro datovou vědu. Žádné programování!

Understanding Data Engineering

Zjistěte, jak datoví inženýři vytvářejí základy, díky nimž je datová věda možná. Bez programování!

Asociovaný datový inženýr v SQL

Datový analytik v Databricks

Porozumění datovým tématům

Extrahuj písničky, které Julian za poslední měsíc poslouchal nejvíc

Najdi ostatní uživatele, kteří tyto stejné písničky hodně poslouchali také

Načti pouze 10 nejposlouchanějších písniček těchto uživatelů za poslední týden do tabulky s názvem „Similar profiles"

Extrahuj pouze ty písničky, které tito ostatní uživatelé poslouchají a které patří do stejného žánru jako písničky z Julianových poslechových relací. To jsou naše doporučení.

Načti doporučené písničky do nové tabulky. To je Julianův Weekly Playlist!

Pipeline

Understanding Data Engineering

Interaktivní praktické cvičení