Unit-Tests einer Datenpipeline mit Fixtures
Im letzten Video hast du gelernt, dass Unit-Tests dazu beitragen können, mehr Vertrauen in deine Datenpipeline zu schaffen, und dass sie sogar helfen können, Fehler während der Entwicklung zu finden. In dieser Übung übst du das Schreiben von Fixtures und Unit-Tests unter Verwendung der Bibliothek pytest und assert.
Die Funktion transform, mit der du Unit-Tests erstellen wirst, ist unten abgebildet. pandas wurde als pd importiert, und die Bibliothek pytest() ist geladen und einsatzbereit.
def transform(raw_data):
raw_data["tax_rate"] = raw_data["total_taxes_paid"] / raw_data["total_taxable_income"]
raw_data.set_index("industry_name", inplace=True)
return raw_data
Diese Übung ist Teil des Kurses
ETL und ELT in Python
Interaktive Übung zum Anfassen
Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.
# Define a pytest fixture
@pytest.fixture()
____ ____():
raw_data = pd.read_csv("raw_tax_data.csv")
# Transform the raw_data, store in clean_data DataFrame, and return the variable
clean_data = ____
return ____