Testarea unitară a unui pipeline de date cu fixtures
Ai învățat în videoclipul anterior că testarea unitară te poate ajuta să ai mai multă încredere în pipeline-ul tău de date și poate chiar să depistezi erori pe parcursul dezvoltării. În acest exercițiu, vei exersa scrierea atât a fixture-urilor, cât și a testelor unitare, folosind biblioteca pytest și assert.
Funcția transform, în jurul căreia vei construi testele unitare, este prezentată mai jos ca referință. pandas a fost importat ca pd, iar biblioteca pytest() este încărcată și gata de utilizare.
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
Acest exercițiu face parte din cursul
ETL și ELT în Python
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____