1. Lära sig
    2. /
  2. Courses
    3. /
  3. Kubernetes 소개
Connected

exercise

Kubernetes에 ETL 파이프라인 배포하기

Kubernetes에 ETL 파이프라인을 배포해 보겠습니다. Extract, Transform, Load 단계는 각각 Pod로 구현되며, 각 Pod는 Persistent Volume Claim이 생성한 해당 Persistent Volume에 읽고 씁니다.

이번 과제는 2명 이상의 인원이 함께 탑승한 NYC yellow cab 승객 수의 총합을 구하는 것입니다. "Extract Pod"는 초기 데이터를 CSV 파일로 준비해 "Transform Pod"에 전달합니다. 이 Pod는 yellow cab 데이터를 SQLite 데이터베이스로 정제하고, 최종 계산에 필요한 모든 데이터를 선택해 "Load Pod"에 넘깁니다. 마지막 Pod는 승객 수를 모두 합산해 출력하고, CSV 파일로 저장합니다.

이 모든 단계는 여러분이 이미 익힌 표준 Kubernetes 오브젝트로 수행합니다. Docker 이미지를 만들고 Kubernetes로 배포하는 데 필요한 파일이 들어 있는 "Docker/"와 "Manifests/" 두 디렉터리가 준비되어 있습니다.

Instruktioner 1 / 4

undefined XP
    1
    2
    3
    4
  • Docker/ 디렉터리의 파일, 특히 Docker/Dockerfile.*와 Docker/*.sql을 확인하세요. more 같은 페이저나 cat 명령을 사용해 개별 파일의 내용을 볼 수 있습니다.
  • bash 명령으로 빌드 스크립트 01_build_and_upload_images.sh를 실행하세요. 이 스크립트는 세 개의 Docker 이미지(extract:v1, transform:v1, load:v1)를 빌드하고, Kubernetes 클러스터에 업로드합니다.

참고: Docker 이미지를 만들고 Kubernetes로 배포하는 데 필요한 파일이 들어 있는 "Docker/"와 "Manifests/" 두 디렉터리가 준비되어 있습니다. cat 명령은 'CTRL+D'로 종료할 수 있습니다.