Kubernetes에 ETL 파이프라인 배포하기

Kubernetes에 ETL 파이프라인을 배포해 보겠습니다. Extract, Transform, Load 단계는 각각 Pod로 구현되며, 각 Pod는 Persistent Volume Claim이 생성한 해당 Persistent Volume에 읽고 씁니다.

이번 과제는 2명 이상의 인원이 함께 탑승한 NYC yellow cab 승객 수의 총합을 구하는 것입니다. "Extract Pod"는 초기 데이터를 CSV 파일로 준비해 "Transform Pod"에 전달합니다. 이 Pod는 yellow cab 데이터를 SQLite 데이터베이스로 정제하고, 최종 계산에 필요한 모든 데이터를 선택해 "Load Pod"에 넘깁니다. 마지막 Pod는 승객 수를 모두 합산해 출력하고, CSV 파일로 저장합니다.

이 모든 단계는 여러분이 이미 익힌 표준 Kubernetes 오브젝트로 수행합니다. Docker 이미지를 만들고 Kubernetes로 배포하는 데 필요한 파일이 들어 있는 "Docker/"와 "Manifests/" 두 디렉터리가 준비되어 있습니다.