Agende um DAG via Python
Você aprendeu um pouco sobre a criação de DAGs, mas agora gostaria de agendar um DAG específico em um dia específico da semana em um determinado horário. Você gostaria que o código incluísse essas informações, caso um colega precise reinstalar o DAG em um servidor diferente.
O objeto Airflow DAG e os métodos datetime apropriados foram importados para você.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções de exercício
- Defina a data de início do DAG para 1º de novembro de 2023.
- Configure o
retry_delaypara 20 minutos. Você aprenderá mais sobre o objeto timedelta no Capítulo 3. Por enquanto, você só precisa saber que ele espera um valor inteiro. - Use a sintaxe cron para configurar uma programação de todas as quartas-feiras às 12h30.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Update the scheduling arguments as defined
default_args = {
'owner': 'Engineering',
'start_date': datetime(____, ____, ____),
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 3,
'retry_delay': timedelta(minutes=____)
}
dag = DAG('update_dataflows', default_args=default_args, schedule_interval='____')