1. Nauka
    2. /
  2. Kursy
    3. /
  3. ETL i ELT w Pythonie
Connected

ćwiczenie

Walidacja danych załadowanych do bazy danych Postgres

W tym ćwiczeniu zbudujesz potok danych od początku do końca. Potok wyodrębni wyniki testów szkolnych z pliku JSON i przekształci dane, usuwając wiersze z brakującymi wynikami. Każda szkoła zostanie dodatkowo uszeregowana względem miasta, w którym się znajduje, na podstawie łącznych wyników. Na koniec przekształcony zbiór danych zostanie zapisany w bazie danych Postgres.

Aby ułatwić ci start, funkcje extract() i transform() zostały już zbudowane i użyte w sposób pokazany poniżej. Biblioteka pandas jest zaimportowana jako pd. Powodzenia!

# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)

Instrukcje 1/2

undefined XP
    1
    2
  • Zaktualizuj funkcję load(), aby zapisała DataFrame clean_data do tabeli scores_by_city w bazie danych schools.
  • Jeśli w tabeli scores_by_city istnieją już dane, upewnij się, że zostaną zastąpione nowymi.