在資料管線中記錄日誌
在這個練習中,你將回顧先前影片中寫過的函式,並練習在函式裡加入日誌。這能幫助你在除錯或調整邏輯時定位問題!
已將 pandas 以 pd 匯入。此外也已匯入 logging 模組,且預設日誌等級已設為 "debug"。
本練習屬於課程
使用 Python 的 ETL 與 ELT
練習說明
- 在轉換後建立一則 info 等級的日誌,傳入字串:
"Transformed 'Order Date' column to type 'datetime'." - 在篩選前後,分別以 debug 等級記錄 DataFrame 的
.shape。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
def transform(raw_data):
raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
# Create an info log regarding transformation
logging.____("Transformed 'Order Date' column to type 'datetime'.")
# Create debug-level logs for the DataFrame before and after filtering
____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
return clean_data
clean_sales_data = transform(raw_sales_data)