Veri yüklerken istisnaları yönetme
Bazen veri boru hatların bir istisna fırlatabilir. Bu istisnalar bir tür uyarıdır ve beklenmedik bir şey olduğunda Veri Mühendisini haberdar eder. Bu istisnaları doğru şekilde ele almak önemlidir. Bu egzersizde tam da bunu pratik edeceğiz!
Başlamana yardımcı olmak için pandas pd olarak içe aktarıldı ve logging modülü de içe aktarıldı. Varsayılan günlük (log) düzeyi "debug" olarak ayarlandı.
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Egzersiz talimatları
- Boru hattını bir
trybloğu içerecek şekilde güncelle ve"sales_data.parquet"yolundan veriyi okumayı dene. - Dosya bir
pandasDataFrame'ine okunamazsa birFileNotFoundErroryakala. - Başarısızlığı belgelemek için hata düzeyinde bir günlük kaydı (log) oluştur.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)