Bir veri hattını uçtan uca test etme

Bu egzersizde, daha öncekiyle aynı veri hattı üzerinde çalışacaksın; bu hat vergi verilerini çıkarır, dönüştürür ve yükler. Bu hattı uçtan uca test ederek çözümün birden fazla kez çalıştırılabildiğinden ve dönüştürülmüş verilerin parquet dosyasında yinelenmediğinden emin olmayı pratik edeceksin.

pandas pd olarak yüklendi ve extract(), transform() ve load() fonksiyonları önceden tanımlandı.

Bu egzersiz, kursun bir parçasıdır

Python ile ETL ve ELT

Kursa Göz Atın

Egzersiz talimatları

ETL hattını bir for döngüsü kullanarak üç kez çalıştır.
Hattın her yinelemesinde clean_tax_data'nın şeklini yazdır.
"clean_tax_data.parquet" dosyasında saklanan DataFrame'i to_validate değişkenine oku.
Her çalışma sonrasında verilerin yinelenmediğinden emin olmak için to_validate DataFrame'inin şeklini clean_tax_rate ile karşılaştırarak çıktı ver.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Kodu Düzenle ve Çalıştır