การทดสอบ data pipeline ด้วย fixtures
จากวิดีโอที่ผ่านมา คุณได้เรียนรู้ว่า unit testing ช่วยเพิ่มความเชื่อมั่นใน data pipeline และยังช่วยตรวจจับบักระหว่างการพัฒนาได้อีกด้วย ในแบบฝึกหัดนี้ จะได้ฝึกเขียนทั้ง fixtures และ unit tests โดยใช้ไลบรารี pytest และ assert
ฟังก์ชัน transform ที่จะเขียน unit tests รอบ ๆ แสดงไว้ด้านล่างเพื่อใช้อ้างอิง pandas ถูก import เป็น pd และไลบรารี pytest() โหลดพร้อมใช้งานแล้ว
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL และ ELT ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____