@task.bash로 BashOperator 정의하기

Bash 태스크를 사용하면 특정 셸 명령어나 스크립트를 Airflow 워크플로우에 추가할 수 있습니다. Airflow를 처음 도입할 때 출발점으로 삼기에 아주 좋은 방법입니다.

지금까지는 데이터 분석 팀에 데이터를 전달하기 전에 cleanup.sh라는 스크립트를 수동으로 실행해 데이터를 정리해 왔습니다. 그런데 처리해야 할 태스크가 점점 늘어나면서, 모든 작업을 수동으로 실행하는 것은 물론 오류 처리나 재시도 관리까지 감당하기가 어려워졌습니다. 이제 이 스크립트를 Airflow 오퍼레이터로 구현해 보겠습니다.

Airflow의 dag 및 task 객체는 이미 임포트되어 있습니다.