픽스처(Fixture)를 활용한 데이터 파이프라인 단위 테스트
지난 영상에서 단위 테스트가 데이터 파이프라인에 대한 신뢰를 높이고, 개발 과정에서 버그를 발견하는 데 도움이 될 수 있다는 것을 배웠습니다. 이번 연습 문제에서는 pytest 라이브러리와 assert를 사용해 픽스처(Fixture)와 단위 테스트를 작성하는 방법을 연습해 보겠습니다.
단위 테스트를 작성할 transform 함수는 아래와 같습니다. pandas는 pd로 임포트되어 있고, pytest() 라이브러리도 사용할 수 있도록 불러와져 있습니다.
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
이 연습은 강의의 일부입니다
Python으로 하는 ETL과 ELT
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____