Monitoramento e alertas em um pipeline de dados
Chegou a hora de você colocar tudo junto! Você já deve ter adivinhado, mas o uso do tratamento de erros usando try-except e o registro andam de mãos dadas. Essas duas práticas são essenciais para que um pipeline seja resiliente e transparente, e são os blocos de construção para soluções mais avançadas de monitoramento e alerta.
pandas foi importado como pd, e o módulo logging foi carregado e configurado para você. O DataFrame raw_sales_data foi extraído e está pronto para ser transformado.
Este exercício faz parte do curso
ETL e ELT em Python
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")