Walidacja pipeline'u danych w punktach kontrolnych
W tym ćwiczeniu popracujesz z pipeline'em danych, który wczytuje dane podatkowe z pliku CSV, tworzy nową kolumnę, odfiltrowuje wiersze na podstawie średniego dochodu podlegającego opodatkowaniu, a na koniec zapisuje dane do pliku parquet.
Biblioteka pandas została wczytana jako pd, a funkcje extract(), transform() i load() są już zdefiniowane. Wykorzystasz je, aby zwalidować pipeline danych w kilku punktach kontrolnych w trakcie jego działania.
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")