การทำ Unit Test ให้กับ Data Pipeline ด้วย Fixtures
ในวิดีโอที่แล้ว คุณได้เรียนรู้ว่าการทำ unit test ช่วยเพิ่มความน่าเชื่อถือให้กับ data pipeline ได้ และยังช่วยตรวจจับบั๊กได้ตลอดกระบวนการพัฒนาอีกด้วย ในแบบฝึกหัดนี้ คุณจะได้ฝึกเขียนทั้ง fixture และ unit test โดยใช้ไลบรารี pytest และ assert
ฟังก์ชัน transform ที่คุณจะสร้าง unit test ขึ้นมาตรวจสอบ แสดงไว้ด้านล่างนี้เพื่อใช้อ้างอิง ไลบรารี pandas ถูกนำเข้ามาในชื่อ pd แล้ว และไลบรารี pytest() ก็โหลดพร้อมใช้งานแล้ว
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL and ELT ใน Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____