Airflow, Luigi e cron
No vídeo, você viu várias ferramentas que podem ajudar no agendamento dos seus jobs do Spark. Você viu as limitações do cron e como isso levou ao desenvolvimento de frameworks como Airflow e Luigi.
O Airflow tem muitos recursos úteis, mas você consegue selecionar, na lista abaixo, qual recurso também é fornecido pelo cron?
Este exercicio faz parte do curso
Introdução à Engenharia de Dados
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio