Övervakning och varningar i en datapipeline
Dags att sätta ihop allt! Du har kanske redan gissat det, men felhantering med try-except och loggning går hand i hand. Dessa två metoder är avgörande för att en pipeline ska vara robust och transparent, och de utgör grunden för mer avancerade lösningar för övervakning och varningar.
pandas har importerats som pd, och modulen logging har laddats in och konfigurerats åt dig. DataFramen raw_sales_data har extraherats och är redo att transformeras.
Den här övningen är en del av kursen
ETL och ELT i Python
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")