데이터 파이프라인을 처음부터 끝까지 테스트하기

이번 연습 문제에서는 앞서 사용했던 것과 동일한, 세금 데이터를 추출하고 변환하고 적재하는 데이터 파이프라인을 다룹니다. 이 파이프라인을 처음부터 끝까지 테스트하여, 여러 번 실행해도 parquet 파일에 변환된 데이터가 중복으로 저장되지 않는지 확인해 보겠습니다.

pandas는 pd로 이미 불러와져 있고, extract(), transform(), load() 함수도 이미 정의되어 있습니다.

이 연습은 강의의 일부입니다

Python으로 하는 ETL과 ELT

강의 보기

연습 안내

for문을 사용해 ETL 파이프라인을 세 번 실행하세요.
파이프라인을 실행할 때마다 clean_tax_data의 shape를 출력하세요.
"clean_tax_data.parquet" 파일에 저장된 DataFrame을 to_validate 변수로 읽어오세요.
to_validate DataFrame의 shape를 출력하여 clean_tax_rate의 shape와 비교하고, 파이프라인을 실행할 때마다 데이터가 중복되지 않았는지 확인하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

코드 편집 및 실행