Testa en datapipeline end-to-end

I den här övningen arbetar du med samma datapipeline som tidigare, som extraherar, transformerar och laddar skattedata. Du övar på att testa den här pipelinen end-to-end för att säkerställa att lösningen kan köras flera gånger utan att den transformerade datan dupliceras i parquet-filen.

pandas har laddats som pd, och funktionerna extract(), transform() och load() är redan definierade.

Den här övningen är en del av kursen

ETL och ELT i Python

Visa kurs

Övningsinstruktioner

Kör ETL-pipelinen tre gånger med hjälp av en for-loop.
Skriv ut formen (shape) på clean_tax_data vid varje körning av pipelinen.
Läs in DataFrame:n som lagras i filen "clean_tax_data.parquet" i variabeln to_validate.
Skriv ut formen (shape) på DataFrame:n to_validate och jämför den med formen på clean_tax_rate för att säkerställa att datan inte duplicerades vid varje körning av pipelinen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Redigera och kör kod