BashOperator 작업 정의하기

BashOperator를 사용하면 임의의 Shell 명령이나 스크립트를 지정해 Airflow 워크플로에 추가할 수 있습니다. 이는 환경에 Airflow를 도입할 때 훌륭한 출발점이 됩니다.

지금까지는 동료인 Data Analytics 팀에 데이터를 전달하기 전에(스크립트 cleanup.sh 사용) 일부 스크립트를 수동으로 실행해 데이터를 정리해 왔습니다. 이런 작업이 늘어나면서, 모든 것을 수동으로 실행하는 데 그치지 않고 오류 처리나 재시도까지 관리하기가 점점 어려워지고 있음을 깨달았습니다. 이제 간단한 스크립트를 Airflow 오퍼레이터로 구현하고 싶습니다.

Airflow DAG analytics_dag는 이미 정의되어 있으며 필요한 구성이 갖춰져 있습니다.