Testowanie potoku danych od początku do końca

W tym ćwiczeniu pracujesz z tym samym potokiem danych co wcześniej, który wyodrębnia, przekształca i wczytuje dane podatkowe. Przećwiczysz testowanie tego potoku od początku do końca, aby upewnić się, że rozwiązanie można uruchomić wielokrotnie, bez duplikowania przekształconych danych w pliku parquet.

pandas został już wczytany jako pd, a funkcje extract(), transform() i load() zostały już zdefiniowane.

To ćwiczenie jest częścią kursu

ETL i ELT w Pythonie

Zobacz kurs

Instrukcje do ćwiczenia

Uruchom potok ETL trzy razy, korzystając z pętli for.
Wypisz kształt (shape) zbioru clean_tax_data przy każdej iteracji uruchomienia potoku.
Wczytaj DataFrame zapisany w pliku "clean_tax_data.parquet" do zmiennej to_validate.
Wypisz kształt DataFrame to_validate, porównując go z kształtem clean_tax_rate, aby upewnić się, że dane nie zostały zduplikowane przy każdym uruchomieniu potoku.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Edytuj i uruchom kod