Veri hattı mimarisi kalıpları
Veri hatları kurarken, fonksiyonların tanımlandığı dosyaları, bu fonksiyonların çalıştırıldığı dosyalardan ayırmak en iyisidir.
Bu egzersizde, bir hattın bileşenlerini belleğe içe aktırıp, ardından bu fonksiyonları kullanarak hattı uçtan uca çalıştırmayı pratik yapacaksın. Proje aşağıdaki formata sahiptir; burada pipeline_utils, hattı çalıştırmak için kullanılacak extract(), transform(), ve load() fonksiyonlarını barındırır.
> ls
etl_pipeline.py
pipeline_utils.py
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Egzersiz talimatları
pipeline_utilsmodülündenextract,transformveloadfonksiyonlarını içe aktar.- İçe aktardığın fonksiyonları kullanarak veri hattını uçtan uca çalıştır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")