Een datapijplijn end-to-end testen

In deze oefening werk je met dezelfde datapijplijn als eerder, die belastinggegevens extraheert, transformeert en laadt. Je oefent met het end-to-end testen van deze pijplijn om zeker te zijn dat de oplossing meerdere keren kan draaien, zonder de getransformeerde data te dupliceren in het parquet-bestand.

pandas is geladen als pd, en de functies extract(), transform() en load() zijn al gedefinieerd.

Deze oefening maakt deel uit van de cursus

ETL en ELT in Python

Bekijk cursus

Oefeninstructies

Laat de ETL-pijplijn drie keer lopen met een for-loop.
Print in elke iteratie van de pijplijnrun de shape van clean_tax_data.
Lees de DataFrame die is opgeslagen in het bestand "clean_tax_data.parquet" in de variabele to_validate.
Geef de shape van de DataFrame to_validate weer en vergelijk die met de shape van clean_tax_rate om te controleren dat er bij elke pijplijnrun geen data is gedupliceerd.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Code bewerken en uitvoeren