1. 학습
    2. /
  2. 강의
    3. /
  3. Python으로 ETL과 ELT
Connected

연습 문제

데이터 파이프라인 아키텍처 패턴

데이터 파이프라인을 만들 때는, 함수가 정의되는 파일과 함수가 실행되는 위치를 분리하는 것이 좋습니다.

이번 연습에서는 파이프라인 구성 요소를 메모리로 가져온 뒤, 이 함수들을 사용해 파이프라인을 end-to-end로 실행해 보겠습니다. 프로젝트 구조는 아래와 같으며, pipeline_utils에는 파이프라인 실행에 사용할 extract(), transform(), load() 함수가 들어 있습니다.

> ls
 etl_pipeline.py
 pipeline_utils.py

지침

100 XP
  • pipeline_utils 모듈에서 extract, transform, load 함수를 가져오세요.
  • 가져온 함수를 사용해 데이터 파이프라인을 end-to-end로 실행하세요.