Monitoring a alerting v datovém pipeline
Nastal čas dát vše dohromady! Možná jsi to už tušil/a, ale ošetření chyb pomocí try-except a logování jdou ruku v ruce. Tyto dvě praktiky jsou nezbytné pro to, aby byl pipeline odolný a transparentní – a zároveň tvoří základ pro pokročilejší monitorovací a alertovací řešení.
pandas je naimportován jako pd a modul logging je načtený a nakonfigurovaný. DataFrame raw_sales_data byl extrahován a je připravený k transformaci.
Toto cvičení je součástí kurzu
ETL a ELT v Pythonu
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")