1. 학습
  2. /
  3. 강의
  4. /
  5. Python으로 배우는 Apache Airflow 입문

Connected

연습 문제

여러 개의 BashOperator 사용

Airflow DAG에는 여러 오퍼레이터를 넣을 수 있으며, 각 오퍼레이터는 자신에게 정의된 작업을 수행합니다.

여러분은 스크립트 하나를 Airflow 작업으로 성공적으로 구현했고, 이제 개별 스크립트를 전체 Airflow DAG로 점차 이전하기로 했습니다. 워크플로에 더 많은 구성 요소를 추가하려고 합니다. 이전 연습 문제에서 사용한 cleanup.sh 외에도 consolidate_data.sh와 push_data.sh라는 두 개의 스크립트가 더 있습니다. 이 스크립트들은 데이터를 추가로 처리하고 최종 위치로 복사합니다.

analytics_dag DAG는 이미 정의되어 있습니다(즉, with DAG(...) 구문을 추가할 필요가 없고, cleanup 작업도 여전히 정의되어 있습니다). BashOperator는 이미 임포트되어 있습니다.

지침

100 XP
  • consolidate_data.sh를 실행하는 BashOperator를 consolidate라는 이름으로 정의하고, task_id를 consolidate_task로 설정하세요.
  • 마지막으로 push_data.sh를 실행하는 BashOperator를 push_data라는 이름으로 정의하고, task_id를 pushdata_task로 설정하세요.