Convalida dei dati caricati in un database Postgres
In questo esercizio costruirai finalmente una pipeline dati end-to-end. La pipeline estrarrà i punteggi dei test scolastici da un file JSON e trasformerà i dati eliminando le righe con punteggi mancanti. Inoltre, ogni scuola verrà classificata in base alla città in cui si trova, usando il punteggio totale. Infine, l'insieme di dati trasformato verrà salvato in un database Postgres.
Per farti partire più velocemente, le funzioni extract() e transform() sono già state create e usate come mostrato sotto. Inoltre, pandas è stato importato come pd. Buon lavoro!
# Estrai e pulisci i punteggi dei test.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Questo esercizio fa parte del corso
ETL and ELT in Python
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)