Ferramentas de orquestração e ETL

Ao implantar pipelines de dados na produção, os engenheiros de dados precisam garantir que seus pipelines possam ser executados de forma consistente em um cronograma, ter acesso a uma quantidade flexível de recursos e alertar sobre falhas. Para fazer isso, os engenheiros de dados geralmente procuram fora de um script Python uma ferramenta de orquestração e ETL.

Qual é a ferramenta de orquestração mais popular para criar, implementar e monitorar pipelines de dados?