Convalida dei dati caricati in un database Postgres
In questo esercizio costruirai finalmente una pipeline di dati end-to-end. La pipeline estrarrà i punteggi dei test scolastici da un file JSON e trasformerà i dati eliminando le righe con punteggi mancanti. Inoltre, ogni scuola verrà classificata in base alla città in cui si trova, usando il totale dei punteggi. Infine, l’insieme di dati trasformato verrà salvato in un database Postgres.
Per darti un vantaggio, le funzioni extract() e transform() sono già state create e utilizzate come mostrato sotto. Inoltre, pandas è stato importato come pd. Buon lavoro!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Questo esercizio fa parte del corso
ETL and ELT in Python
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)