판매 ETL 파이프라인 설정하기

Airflow의 작동 방식에 대해 많은 것을 배우셨습니다. 이제 학습한 내용을 바탕으로, 태스크와 센서 등 다양한 구성 요소로 이루어진 프로덕션 파이프라인에 워크플로를 구현할 차례입니다. 상사는 이 워크플로가 자동화되어 보고서를 제공할 수 있기를 원하고 있습니다. 영업팀이 진행 중인 계약에 유리하게 작용할 수 있기 때문입니다. 잠재 고객은 자동화된 방식으로 업데이트 내용을 확인하면 해당 데이터 서비스에 가입할 의사가 있다고 밝혔습니다.

프로세스에 대해 파악한 내용에 따르면, 시스템에 업로드될 판매 데이터가 있습니다. 데이터가 업로드되면 전체 처리를 시작하기 위한 새 파일이 생성되어야 하는데, 현재 무언가 올바르게 작동하지 않고 있습니다.