Planifier un DAG via Python
Vous avez appris pas mal de choses sur la création de DAG, mais vous souhaitez maintenant programmer un DAG précis un jour précis de la semaine à une heure donnée. Vous voulez que le code inclue cette information au cas où un collègue aurait besoin de réinstaller le DAG sur un autre serveur.
L’objet DAG d’Airflow et les méthodes datetime appropriées ont été importés pour vous.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Instructions
- Définissez la date de début du DAG au 1er novembre 2023.
- Configurez
retry_delayà 20 minutes. Vous en apprendrez davantage sur l’objet timedelta au Chapitre 3. Pour l’instant, retenez simplement qu’il attend une valeur entière. - Utilisez la syntaxe cron pour configurer une planification tous les mercredis à 12 h 30.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Update the scheduling arguments as defined
default_args = {
'owner': 'Engineering',
'start_date': datetime(____, ____, ____),
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 3,
'retry_delay': timedelta(minutes=____)
}
dag = DAG('update_dataflows', default_args=default_args, schedule_interval='____')