Monitoraggio e alert all'interno di una pipeline di dati
È il momento di mettere tutto insieme! Forse l'avevi già intuito: gestire gli errori con try-except e usare il logging vanno di pari passo. Queste due pratiche sono fondamentali per rendere una pipeline resiliente e trasparente, e sono le basi per soluzioni più avanzate di monitoraggio e alerting.
pandas è stato importato come pd, e il modulo logging è stato caricato e configurato per te. Il DataFrame raw_sales_data è stato estratto ed è pronto per la trasformazione.
Questo esercizio fa parte del corso
ETL and ELT in Python
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")