Plan een DAG via Python

Je hebt al aardig wat geleerd over het maken van DAG's, maar nu wil je een specifieke DAG op een specifieke dag van de week op een bepaald tijdstip plannen. Je wilt dat de code deze informatie bevat voor het geval een collega de DAG op een andere server moet herinstalleren.

Het Airflow-DAG-object en de juiste datetime-methoden zijn alvast voor je geïmporteerd.

Deze oefening maakt deel uit van de cursus

Introductie tot Apache Airflow in Python

Cursus bekijken

Oefeninstructies

Stel de startdatum van de DAG in op 1 november 2023.
Stel de retry_delay in op 20 minuten. Je leert meer over het timedelta-object in hoofdstuk 3. Voor nu hoef je alleen te weten dat het een geheel getal verwacht.
Gebruik de cron-syntaxis om een schema te configureren van elke woensdag om 12:30 uur.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Update the scheduling arguments as defined
default_args = {
  'owner': 'Engineering',
  'start_date': datetime(____, ____, ____),
  'email': ['[email protected]'],
  'email_on_failure': False,
  'email_on_retry': False,
  'retries': 3,
  'retry_delay': timedelta(minutes=____)
}

dag = DAG('update_dataflows', default_args=default_args, schedule_interval='____')

Code bewerken en uitvoeren