Testando uma pipeline de dados de ponta a ponta
Neste exercício, você vai trabalhar com a mesma pipeline de dados de antes, que extrai, transforma e carrega dados de impostos. Você vai praticar o teste dessa pipeline de ponta a ponta para garantir que a solução possa ser executada várias vezes sem duplicar os dados transformados no arquivo parquet.
pandas já foi importado como pd, e as funções extract(), transform() e load() já foram definidas.
Este exercicio faz parte do curso
ETL e ELT em Python
Instruções do exercicio
- Execute a pipeline de ETL três vezes usando um
for. - Imprima o shape de
clean_tax_dataem cada iteração da execução da pipeline. - Leia o DataFrame armazenado no arquivo
"clean_tax_data.parquet"para a variávelto_validate. - Exiba o shape do DataFrame
to_validate, comparando-o ao shape declean_tax_ratepara garantir que os dados não foram duplicados a cada execução da pipeline.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
print(f"Attempt: {attempt}")
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
load(clean_tax_data, "clean_tax_data.parquet")
# Print the shape of the cleaned_tax_data DataFrame
print(f"Shape of clean_tax_data: {clean_tax_data.____}")
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")