expand()로 여러 엔드포인트 처리하기
팀에서 여러 API 엔드포인트로부터 데이터를 가져오는데, 엔드포인트가 추가되거나 제거될 때마다 DAG를 수정해야 한다면 유지보수가 매우 번거롭습니다. 이 연습 문제에서는 그런 고정된 파이프라인을 데이터 기반 파이프라인으로 바꿔 보겠습니다. expand()를 사용하면 Airflow가 런타임에 엔드포인트 목록을 읽어 항목마다 태스크 인스턴스를 하나씩 생성하므로, 엔드포인트 수가 바뀌어도 파이프라인이 자동으로 조정됩니다.
이 연습은 강의의 일부입니다
