Postgres Veritabanına yüklenen verileri doğrulama
Bu egzersizde sonunda uçtan uca bir veri hattı kuracaksın. Bu hat, okul sınav puanlarını bir JSON dosyasından çıkaracak ve eksik puan içeren satırları kaldıracak şekilde veriyi dönüştürecek. Bunun yanında, her okul toplam puanlarına göre bulundukları şehre göre sıralanacak. Son olarak, dönüştürülmüş veri kümesi bir Postgres veritabanında saklanacak.
Başlamanı kolaylaştırmak için, aşağıda gösterildiği gibi extract() ve transform() işlevleri hazırlandı ve kullanıldı. Ayrıca, pandas kütüphanesi pd olarak içe aktarıldı. Bol şans!
# Sınav puanlarını çıkar ve temizle.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)