Criação de um pipeline de produção #2

Dando continuidade ao seu último fluxo de trabalho, você gostaria de acrescentar algumas funcionalidades adicionais, especificamente adicionando alguns SLAs ao código e modificando os componentes do sensor.

Consulte o código-fonte do site DAG para determinar se é necessário adicionar algo a mais. O dicionário default_args foi definido para você, embora possa exigir modificações adicionais.

Este exercício faz parte do curso

Introdução ao Apache Airflow em Python

Ver Curso

Instruções de exercício

Adicione um sla de 90 minutos ao DAG usando a função timedelta().
Atualize o objeto FileSensor para verificar se há arquivos a cada 45 segundos usando o parâmetro poke_interval.
Modifique o site python_task para enviar variáveis do Airflow para o chamável. Observe que o callable está configurado para aceitar as variáveis usando o argumento provide_context.

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Comece o exercício