1. Learn
    2. /
  2. Cursuri
    3. /
  3. Introducere în Data Engineering
Connected

exercițiu

Definirea DAG-ului

În exercițiile anterioare, ai completat fazele de extragere, transformare și încărcare separat. Acum, toate acestea sunt reunite într-o singură funcție etl() pe care o poți explora în consolă.

Funcția etl() extrage date brute despre cursuri și evaluări din bazele de date relevante, curăță datele corupte și completează valorile lipsă, calculează evaluarea medie per curs și creează recomandări pe baza regulilor de decizie, apoi încarcă recomandările într-o bază de date.

Așa cum îți amintești din videoclip, etl() acceptă un singur argument: db_engines. Îl poți transmite sarcinii folosind op_kwargs în PythonOperator. Poți să îi pasezi un dicționar care va fi completat ca kwargs în funcția apelabilă.

Instrucțiuni

100 XP
  • Completează definiția DAG-ului astfel încât să ruleze zilnic. Asigură-te că folosești notația cron.
  • Completează PythonOperator() pasând argumentele corecte. Pe lângă etl, în spațiul tău de lucru este disponibil și db_engines.