Validando dados carregados em um banco de dados Postgres
Neste exercício, você finalmente vai construir um pipeline de dados de ponta a ponta. Esse pipeline vai extrair notas de testes escolares de um arquivo JSON e transformar os dados para remover linhas com notas ausentes. Além disso, cada escola será ranqueada pela cidade em que está localizada, com base nas suas notas totais. Por fim, o conjunto de dados transformado será armazenado em um banco de dados Postgres.
Para dar um pontapé inicial, as funções extract() e transform() já foram criadas e usadas como mostrado abaixo. Além disso, pandas foi importado como pd. Boa sorte!
# Extrair e limpar as notas dos testes.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Este exercicio faz parte do curso
ETL e ELT em Python
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)