Agendar um DAG via Python
Você já aprendeu bastante sobre como criar DAGs, mas agora quer agendar um DAG específico em um dia da semana específico e em um horário definido. Você quer que o código inclua essas informações caso um colega precise reinstalar o DAG em outro servidor.
Os objetos DAG do Airflow e os métodos apropriados de datetime já foram importados para você.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Defina a data de início do DAG como 1º de novembro de 2023.
- Configure o
retry_delaypara 20 minutos. Você vai aprender mais sobre o objeto timedelta no Capítulo 3. Por enquanto, você só precisa saber que ele espera um valor inteiro. - Use a sintaxe de cron para configurar uma agenda de toda quarta-feira às 12h30.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Update the scheduling arguments as defined
default_args = {
'owner': 'Engineering',
'start_date': datetime(____, ____, ____),
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 3,
'retry_delay': timedelta(minutes=____)
}
dag = DAG('update_dataflows', default_args=default_args, schedule_interval='____')