Programmer une DAG via Python
Vous avez appris pas mal de choses sur la création de DAGs, mais vous souhaitez maintenant programmer une DAG spécifique un jour précis de la semaine à une certaine heure. Vous souhaitez que le code contienne cette information au cas où un collègue aurait besoin de réinstaller le site DAG sur un autre serveur.
L'objet Airflow DAG et les méthodes datetime appropriées ont été importés pour vous.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Instructions
- Fixez la date de début du site DAG au 1er novembre 2023.
- Configurez l'adresse
retry_delayà 20 minutes. Vous en apprendrez plus sur l'objet timedelta au chapitre 3. Pour l'instant, il vous suffit de savoir qu'il attend une valeur entière. - Utilisez la syntaxe cron pour configurer une programmation tous les mercredis à 12h30.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Update the scheduling arguments as defined
default_args = {
'owner': 'Engineering',
'start_date': datetime(____, ____, ____),
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 3,
'retry_delay': timedelta(minutes=____)
}
dag = DAG('update_dataflows', default_args=default_args, schedule_interval='____')