在数据管道中进行监控与告警
现在把所学融会贯通吧!您可能已经猜到,使用 try-except 处理错误与日志记录是相辅相成的。这两种做法对构建稳健、可追溯的数据管道至关重要,也是更高级监控与告警方案的基石。
已为您导入 pandas 并命名为 pd,logging 模块也已加载并完成配置。raw_sales_data DataFrame 已经抽取完毕,准备好进行转换。
本练习是课程的一部分
使用 Python 的 ETL 和 ELT
交互式实操练习
通过完成这段示例代码来试试这个练习。
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")