Bir veri hattında (pipeline) günlükleme
Bu egzersizde, önceki bir videoda yazdığın fonksiyona geri dönecek ve fonksiyona günlükleme (logging) eklemeyi pratik edeceğiz. Bu, hataları giderirken veya mantıkta değişiklik yaparken işine yarayacak!
pandas pd takma adıyla içe aktarılmıştır. Buna ek olarak, logging modülü içe aktarılmış ve varsayılan günlük düzeyi "debug" olarak ayarlanmıştır.
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Egzersiz talimatları
- Dönüşümden sonra, şu metni geçirerek bilgi (info) düzeyinde bir günlük kaydı oluştur:
"Transformed 'Order Date' column to type 'datetime'." - Filtrelemeden önce ve sonra DataFrame'in
.shapedeğerini hata ayıklama (debug) düzeyinde kaydet.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
def transform(raw_data):
raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
# Create an info log regarding transformation
logging.____("Transformed 'Order Date' column to type 'datetime'.")
# Create debug-level logs for the DataFrame before and after filtering
____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
return clean_data
clean_sales_data = transform(raw_sales_data)