Unit test cho data pipeline với fixtures
Trong video trước, bạn đã học rằng unit test giúp tăng độ tin cậy cho data pipeline và còn có thể phát hiện lỗi trong suốt quá trình phát triển. Trong bài tập này, bạn sẽ luyện viết cả fixtures và unit tests, sử dụng thư viện pytest và assert.
Hàm transform mà bạn sẽ viết unit test xoay quanh được hiển thị bên dưới để tham khảo. pandas đã được import với bí danh pd, và thư viện pytest() đã được nạp sẵn để sử dụng.
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
Bài tập này là một phần của khóa học
ETL và ELT với Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____