1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Introduction to Data Engineering
Connected

cvičení

Definice DAGu

V předchozích cvičeních jsi prošel/a fázemi extrakce, transformace a načtení dat samostatně. Teď je vše spojeno do jedné přehledné funkce etl(), kterou si můžeš prohlédnout v konzoli.

Funkce etl() extrahuje surová data o kurzech a hodnoceních z příslušných databází, čistí poškozená data a doplňuje chybějící hodnoty, vypočítá průměrné hodnocení pro každý kurz a vytvoří doporučení na základě definovaných pravidel – a výsledná doporučení nahraje do databáze.

Jak sis možná pamatuje z videa, etl() přijímá jediný argument: db_engines. Ten můžeš funkci předat pomocí op_kwargs v PythonOperator. Stačí mu předat slovník, který se jako kwargs doplní do volané funkce.

Pokyny

100 XP
  • Dokonči definici DAGu tak, aby se spouštěl každý den. Nezapomeň použít cron notaci.
  • Dokonči PythonOperator() tím, že předáš správné argumenty. Kromě etl máš ve svém prostředí k dispozici také db_engines.