Fluxo de ar, Luigi e cron
No vídeo, você viu várias ferramentas que podem ajudá-lo com o agendamento de seus trabalhos do Spark. Você viu as limitações do cron e como ele levou ao desenvolvimento de estruturas como Airflow e Luigi.
Há muitos recursos úteis no Airflow, mas você pode selecionar o recurso da lista abaixo que também é fornecido pelo cron?
Este exercício faz parte do curso
Introdução à engenharia de dados
Exercício interativo prático
Transforme a teoria em ação com um de nossos exercícios interativos
