在資料管線中進行監控與警示
是時候把所學整合起來了!你或許已經猜到了,使用 try-except 來處理錯誤與記錄日誌是密不可分的做法。這兩個做法能讓管線更具韌性且透明,也是一切進階監控與警示解決方案的基礎。
已為你將 pandas 以 pd 匯入,並載入與設定好 logging 模組。raw_sales_data DataFrame 已經完成擷取,可以開始轉換。
本練習屬於課程
使用 Python 的 ETL 與 ELT
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")