ÎncepețiÎncepe gratuit

Definirea DAG-ului

În exercițiile anterioare, ai completat fazele de extragere, transformare și încărcare separat. Acum, toate acestea sunt reunite într-o singură funcție etl() pe care o poți explora în consolă.

Funcția etl() extrage date brute despre cursuri și evaluări din bazele de date relevante, curăță datele corupte și completează valorile lipsă, calculează evaluarea medie per curs și creează recomandări pe baza regulilor de decizie, apoi încarcă recomandările într-o bază de date.

Așa cum îți amintești din videoclip, etl() acceptă un singur argument: db_engines. Îl poți transmite sarcinii folosind op_kwargs în PythonOperator. Poți să îi pasezi un dicționar care va fi completat ca kwargs în funcția apelabilă.

Acest exercițiu face parte din cursul

Introducere în Data Engineering

Vezi cursul

Instrucțiuni pentru exercițiu

  • Completează definiția DAG-ului astfel încât să ruleze zilnic. Asigură-te că folosești notația cron.
  • Completează PythonOperator() pasând argumentele corecte. Pe lângă etl, în spațiul tău de lucru este disponibil și db_engines.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Define the DAG so it runs on a daily basis
dag = DAG(dag_id="recommendations",
          schedule_interval="____")

# Make sure `etl()` is called in the operator. Pass the correct kwargs.
task_recommendations = PythonOperator(
    task_id="recommendations_task",
    python_callable=____,
    op_kwargs={"____": ____},
)
Editează și rulează codul