Postgres Veritabanına yüklenen verileri doğrulama
Bu egzersizde nihayet uçtan uca bir veri hattı (pipeline) kuracaksın. Bu hat, okul test puanlarını bir JSON dosyasından çıkaracak ve eksik puan içeren satırları kaldırarak veriyi dönüştürecek. Buna ek olarak, her okul toplam puanlarına göre bulundukları şehre göre sıralanacak. Son olarak, dönüştürülmüş veri kümesi bir Postgres veritabanında saklanacak.
Başlamanı kolaylaştırmak için, extract() ve transform() fonksiyonları aşağıda gösterildiği gibi hazırlandı ve kullanıldı. Ayrıca, pandas pd takma adıyla içe aktarıldı. Bol şans!
# Test puanlarını çıkar ve temizle.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Bu egzersiz
Python ile ETL ve ELT
kursunun bir parçasıdırUygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)