Verileri bir Postgres veritabanına yükleme
Veriler bir kaynak sistemden çıkarılıp analiz ya da raporlama kullanım senaryolarına uygun olacak şekilde dönüştürüldükten sonra, sıra veriyi nihai bir depolama ortamına yüklemeye gelir. Temizlenmiş verileri bir SQL veritabanında saklamak, veri tüketicilerinin bunlara erişmesini ve sorgu çalıştırmasını kolaylaştırır. Bu örnekte, temizlenmiş verileri bir Postgres veritabanına yüklemeyi pratik edeceksin.
sqlalchemy içe aktarılmış durumda ve pandas pd olarak kullanılabilir. cleaned_testing_scores DataFrame'inin ilk birkaç satırı aşağıda gösteriliyor:
street_address city math_score ... best_score
01M539 111 Columbia Street Manhattan 657.0 Math
02M545 350 Grand Street Manhattan 613.0 Math
01M292 220 Henry Street Manhattan 410.0 Math
Bu egzersiz, kursun bir parçasıdır
Python ile ETL ve ELT
Egzersiz talimatları
- Bağlantı dizesini
schoolsveritabanına yazacak şekilde güncelle vesqlalchemykullanarak bir bağlantı nesnesi oluştur. pandasilecleaned_testing_scoresDataFrame'inischoolsveritabanındakiscorestablosuna yaz.- Tablo zaten verilerle doluysa, mevcut DataFrame'deki değerlerle değiştirdiğinden emin ol.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Update the connection string, create the connection object to the schools database
db_engine = sqlalchemy.____("postgresql+psycopg2://repl:password@localhost:5432/____")
# Write the DataFrame to the scores table
cleaned_testing_scores.____(
name="____",
con=db_engine,
index=False,
if_exists="____"
)