Monitorowanie i alertowanie w potoku danych
Czas połączyć wszystko w całość! Pewnie się domyślasz, że obsługa błędów za pomocą try-except i logowanie idą w parze. Te dwie praktyki są niezbędne, aby potok danych był odporny na błędy i przejrzysty, i stanowią podstawę bardziej zaawansowanych rozwiązań do monitorowania i alertowania.
Biblioteka pandas została zaimportowana jako pd, a moduł logging został załadowany i skonfigurowany za ciebie. Ramka danych raw_sales_data została wyodrębniona i jest gotowa do przekształcenia.
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")