Monitoramento e alertas em um pipeline de dados
Hora de juntar tudo! Talvez você já tenha percebido: tratar erros com try-except e registrar logs andam juntos. Essas duas práticas são essenciais para que um pipeline seja resiliente e transparente, e servem de base para soluções mais avançadas de monitoramento e alertas.
pandas foi importado como pd, e o módulo logging já foi carregado e configurado para você. O DataFrame raw_sales_data foi extraído e está pronto para ser transformado.
Este exercicio faz parte do curso
ETL e ELT em Python
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")