데이터 파이프라인 아키텍처 패턴
데이터 파이프라인을 구축할 때는 함수가 정의된 파일과 함수가 실행되는 파일을 분리하는 것이 좋습니다.
이번 연습 문제에서는 파이프라인의 구성 요소를 메모리로 가져온 다음, 이 함수들을 사용해 파이프라인을 처음부터 끝까지 실행해 봅니다. 프로젝트는 다음과 같은 형태로 구성되어 있으며, pipeline_utils에는 파이프라인 실행에 사용할 extract(), transform(), load() 함수가 저장되어 있습니다.
> ls
etl_pipeline.py
pipeline_utils.py
이 연습은 강의의 일부입니다
Python으로 하는 ETL과 ELT
연습 안내
pipeline_utils모듈에서extract,transform,load함수를 가져오세요.- 가져온 함수를 사용해 데이터 파이프라인을 처음부터 끝까지 실행하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")