Monitoring en alertering binnen een datapijplijn
Tijd om alles samen te brengen! Je had het misschien al geraden, maar fouten afhandelen met try-except en logging gaan hand in hand. Deze twee praktijken zijn essentieel om een pijplijn veerkrachtig en transparant te maken, en vormen de bouwstenen voor meer geavanceerde monitoring- en alerteringsoplossingen.
pandas is geïmporteerd als pd, en de module logging is voor je geladen en geconfigureerd. De DataFrame raw_sales_data is geëxtraheerd en klaar om te transformeren.
Deze oefening maakt deel uit van de cursus
ETL en ELT in Python
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")