Walidacja potoku danych za pomocą assert
Aby tworzyć testy jednostkowe dla potoków danych, warto dobrze poznać słowo kluczowe assert oraz funkcję isinstance(). W tym ćwiczeniu przećwiczysz korzystanie z tych dwóch narzędzi do walidacji elementów potoku danych.
Masz do dyspozycji funkcje extract() i transform(), a także bibliotekę pandas, zaimportowaną jako pd. Zarówno extract(), jak i transform() zwracają DataFrame. Powodzenia!
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Validate the number of columns in the DataFrame
____ len(clean_tax_data.columns) == ____