ÎncepețiÎncepe gratuit

Definirea DAG-ului

În exercițiile anterioare, ai realizat separat etapele de extragere, transformare și încărcare. Acum, toate acestea sunt reunite într-o singură funcție etl(), pe care o poți vedea în consolă.

Funcția etl() extrage datele brute despre cursuri și evaluări din bazele de date relevante, curăță datele corupte și completează valorile lipsă, calculează evaluarea medie pentru fiecare curs și creează recomandări pe baza regulilor de decizie pentru generarea recomandărilor, iar în final încarcă recomandările într-o bază de date.

După cum probabil îți amintești din videoclip, etl() acceptă un singur argument: db_engines. Atât etl, cât și db_engines sunt disponibile în spațiul tău de lucru, așa că task-ul pe care îl definești trebuie doar să apeleze unul cu celălalt.

Acest exercițiu face parte din cursul

Introducere în Data Engineering

Vezi cursul

Instrucțiuni pentru exercițiu

  • Completează definiția DAG-ului, astfel încât să ruleze zilnic. Asigură-te că folosești notația cron.
  • Completează task-ul astfel încât să apeleze funcția etl() cu motoarele bazei de date.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Define the DAG so it runs on a daily basis
@dag(dag_id="recommendations",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def recommendations():
    # Make sure the task calls etl() with the database engines
    @task(task_id="recommendations_task")
    def recommendations_task():
        ____(____)

    recommendations_task()

# Run the DAG
recommendations()
Editează și rulează codul