De DAG maken

Nadat je de standaardargumenten hebt ingesteld, is het tijd om je DAG te definiëren en de eerste taak te maken die de API controleert. Deze stap is essentieel om je data- en Machine Learning-workflows te automatiseren. De volgende modules zijn geïmporteerd: DAG, PythonOperator en datetime. Je hebt ook een eigen check_updates_api-functie beschikbaar. Tijd om je DAG te bouwen!

Deze oefening maakt deel uit van de cursus

Forecasting-pijplijnen ontwerpen voor productie

Cursus bekijken

Oefeninstructies

Definieer de DAG met de juiste functie.
Stel het schema in om dagelijks te draaien.
Maak de taak check_api met een Python-operator.
Geef de functie check_updates_api op als callable.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Define the DAG
with ____(
    'data_pipeline',
    default_args=default_args,
    description='Data pipeline for ETL process',
  	# Set the schedule to run daily
    schedule='@____',
    tags = ["python", "etl", "forecast"]
) as dag:
  # Create check_api
  check_api = ____(
    task_id='check_api',
    # Use the check_updates_api function
    python_callable=____)

print(f"DAG object created: {dag}")
print(f"PythonOperator for API check created: {check_api}")

Code bewerken en uitvoeren