Veri boru hattı mimarisi kalıpları
Veri boru hatları oluştururken, fonksiyonların tanımlandığı dosyaları, çalıştırıldıkları dosyalardan ayırmak en iyisidir.
Bu egzersizde, bir boru hattının bileşenlerini belleğe içe aktarma alıştırması yapacak ve ardından bu fonksiyonları kullanarak boru hattını uçtan uca çalıştıracaksın. Proje aşağıdaki formata sahiptir; burada pipeline_utils, boru hattını çalıştırmak için kullanılacak extract(), transform() ve load() fonksiyonlarını barındırır.
> ls
etl_pipeline.py
pipeline_utils.py
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Egzersiz talimatları
pipeline_utilsmodülündenextract,transformveloadfonksiyonlarını içe aktar.- İçe aktardığın bu fonksiyonları kullanarak veri boru hattını uçtan uca çalıştır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")