Walidacja danych załadowanych do bazy danych Postgres
W tym ćwiczeniu zbudujesz potok danych od początku do końca. Potok wyodrębni wyniki testów szkolnych z pliku JSON i przekształci dane, usuwając wiersze z brakującymi wynikami. Każda szkoła zostanie dodatkowo uszeregowana względem miasta, w którym się znajduje, na podstawie łącznych wyników. Na koniec przekształcony zbiór danych zostanie zapisany w bazie danych Postgres.
Aby ułatwić ci start, funkcje extract() i transform() zostały już zbudowane i użyte w sposób pokazany poniżej. Biblioteka pandas jest zaimportowana jako pd. Powodzenia!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)