Postgres Veritabanına yüklenen verileri doğrulama
Bu egzersizde nihayet uçtan uca bir veri hattı (pipeline) kuracaksın. Bu hat, okul test puanlarını bir JSON dosyasından çıkaracak ve eksik puan içeren satırları kaldırarak veriyi dönüştürecek. Buna ek olarak, her okul toplam puanlarına göre bulundukları şehre göre sıralanacak. Son olarak, dönüştürülmüş veri kümesi bir Postgres veritabanında saklanacak.
Başlamanı kolaylaştırmak için, extract() ve transform() fonksiyonları aşağıda gösterildiği gibi hazırlandı ve kullanıldı. Ayrıca, pandas pd takma adıyla içe aktarıldı. Bol şans!
# Test puanlarını çıkar ve temizle.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)