Herramientas de orquestación y ETL

Al desplegar pipelines de datos en producción, las personas de Data Engineering necesitan garantizar que sus pipelines se ejecuten de forma constante según una planificación, que tengan acceso a una cantidad flexible de recursos y que alerten en caso de fallo. Para lograrlo, a menudo se recurre fuera de un script de Python a una herramienta de orquestación y ETL.

¿Cuál es la herramienta de orquestación más popular para crear, desplegar y monitorizar pipelines de datos?