Monitoring en alerts binnen een datapijplijn
Tijd om alles samen te brengen! Je had het vast al geraden: fouten afhandelen met try-except en logging gaan hand in hand. Deze twee praktijken zijn essentieel om een pijplijn robuust en transparant te maken, en vormen de bouwstenen voor geavanceerdere monitoring- en alertoplossingen.
pandas is geïmporteerd als pd, en de logging-module is voor je geladen en geconfigureerd. De DataFrame raw_sales_data is geëxtraheerd en klaar om te transformeren.
Deze oefening maakt deel uit van de cursus
ETL en ELT in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")