Escolhendo a métrica de qualidade certa
Um engenheiro júnior da Global Retail Analytics executa o pipeline de limpeza em um novo upload de online_retail, mas acidentalmente comenta a linha na.drop(subset=["CustomerID"]). As demais etapas — na.fill(), dropDuplicates() e o filtro de registros inválidos — rodam sem erros.
Qual métrica de verificação de qualidade revelaria o erro imediatamente?
Este exercicio faz parte do curso
Transformação de Dados com Spark SQL no Databricks
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio