Testowanie jednostkowe potoku danych za pomocą fixture'ów
Z poprzedniego nagrania wiesz już, że testowanie jednostkowe pomaga zwiększyć zaufanie do twojego potoku danych, a nawet wychwycić błędy już na etapie tworzenia kodu. W tym ćwiczeniu przećwiczysz pisanie zarówno fixture'ów, jak i testów jednostkowych, korzystając z biblioteki pytest oraz instrukcji assert.
Poniżej znajdziesz funkcję transform, dla której będziesz tworzyć testy jednostkowe. Biblioteka pandas została zaimportowana jako pd, a biblioteka pytest() jest już wczytana i gotowa do użycia.
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____