Veri hattı mimarisi kalıpları
Veri hatları kurarken, fonksiyonların tanımlandığı dosyaları, bu fonksiyonların çalıştırıldığı dosyalardan ayırmak en iyisidir.
Bu egzersizde, bir hattın bileşenlerini belleğe içe aktırıp, ardından bu fonksiyonları kullanarak hattı uçtan uca çalıştırmayı pratik yapacaksın. Proje aşağıdaki formata sahiptir; burada pipeline_utils, hattı çalıştırmak için kullanılacak extract(), transform(), ve load() fonksiyonlarını barındırır.
> ls
etl_pipeline.py
pipeline_utils.py
Bu egzersiz
Python ile ETL ve ELT
kursunun bir parçasıdırEgzersiz talimatları
pipeline_utilsmodülündenextract,transformveloadfonksiyonlarını içe aktar.- İçe aktardığın fonksiyonları kullanarak veri hattını uçtan uca çalıştır.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")