Мониторинг и оповещения в конвейере данных
Пора собрать всё воедино! Вы наверняка уже догадались, что обработка ошибок с помощью try-except и логирование идут рука об руку. Эти две практики незаменимы, если вы хотите сделать конвейер устойчивым к сбоям и прозрачным для анализа, и именно они лежат в основе более продвинутых решений для мониторинга и оповещений.
pandas уже импортирован как pd, а модуль logging загружен и настроен за вас. DataFrame raw_sales_data уже извлечён и готов к трансформации.
Это упражнение является частью курса
ETL и ELT в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")