Orchestration- en ETL-tools

Bij het uitrollen van datapijplijnen naar productie moeten data engineers ervoor zorgen dat hun pijplijnen consistent volgens een schema draaien, toegang hebben tot een flexibele hoeveelheid resources en waarschuwen bij falen. Om dit te bereiken kijken data engineers vaak verder dan alleen een Python-script, naar een orchestration- en ETL-tool.

Wat is de meest populaire orchestration-tool om datapijplijnen te bouwen, te deployen en te monitoren?