Daten validieren, die in eine Postgres-Datenbank geladen wurden
In dieser Übung baust du endlich eine Datenpipeline von Anfang bis Ende. Diese Pipeline extrahiert Schultest-Ergebnisse aus einer JSON-Datei und transformiert die Daten, indem Zeilen mit fehlenden Ergebnissen entfernt werden. Zusätzlich wird jede Schule nach der Stadt, in der sie liegt, anhand ihrer Gesamtpunktzahl gerankt. Abschließend wird der transformierte Datensatz in einer Postgres-Datenbank gespeichert.
Damit du schneller loslegen kannst, wurden die Funktionen extract() und transform() bereits erstellt und wie unten gezeigt verwendet. Außerdem wurde pandas als pd importiert. Viel Erfolg!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Diese Übung ist Teil des Kurses
<Kurs>ETL und ELT in Python</Kurs>Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)