Övervakning och aviseringar i en datapipeline
Dags att sätta ihop allt! Du kanske redan anade det, men felhantering med try-except och loggning hör ihop. De här två metoderna är grundläggande för att göra en pipeline robust och transparent, och utgör basen för mer avancerade övervaknings- och aviseringslösningar.
pandas har importerats som pd, och modulen logging har laddats och konfigurerats åt dig. DataFrame:n raw_sales_data har extraherats och är redo att transformeras.
Den här övningen är en del av kursen
ETL och ELT i Python
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")