Walidacja danych wczytanych do bazy Postgres
W tym ćwiczeniu zbudujesz wreszcie kompletny potok danych od początku do końca. Ten potok wyodrębni wyniki testów szkolnych z pliku JSON i przekształci dane, usuwając wiersze z brakującymi wynikami. Dodatkowo każdy wiersz zostanie przypisany do rankingu w obrębie swojego miasta, na podstawie sumy wyników. Na koniec przekształcony zbiór danych zostanie zapisany w bazie Postgres.
Żeby ułatwić ci start, funkcje extract() i transform() zostały już napisane i użyte tak, jak pokazano poniżej. Dodatkowo pandas został zaimportowany jako pd. Powodzenia!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)