Eine Datenpipeline End-to-End testen

In dieser Übung arbeitest du mit derselben Datenpipeline wie zuvor, die Steuerdaten extrahiert, transformiert und lädt. Du übst, diese Pipeline End-to-End zu testen, damit die Lösung mehrfach ausgeführt werden kann, ohne die transformierten Daten in der Parquet-Datei zu duplizieren.

pandas wurde als pd geladen, und die Funktionen extract(), transform() und load() sind bereits definiert.

Diese Übung ist Teil des Kurses

<Kurs>ETL und ELT in Python</Kurs>

Kurs ansehen

Übungsanweisungen

Führe die ETL-Pipeline dreimal mithilfe einer for-Schleife aus.
Gib in jeder Iteration die Form von clean_tax_data aus.
Lies den im File "clean_tax_data.parquet" gespeicherten DataFrame in die Variable to_validate ein.
Gib die Form des DataFrames to_validate aus und vergleiche sie mit der Form von clean_tax_rate, um sicherzustellen, dass bei jedem Pipeline-Lauf keine Daten dupliziert wurden.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Code bearbeiten und ausführen