Validando uma pipeline de dados em "checkpoints"
Neste exercício, você vai trabalhar com uma pipeline de dados que extrai dados de impostos de um arquivo CSV, cria uma nova coluna, filtra linhas com base na renda tributável média e persiste os dados em um arquivo parquet.
pandas já foi carregado como pd, e as funções extract(), transform() e load() já foram definidas. Você vai usar essas funções para validar a pipeline de dados em vários checkpoints ao longo da sua execução.
Este exercicio faz parte do curso
ETL e ELT em Python
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")