Încărcarea datelor într-o bază de date Postgres
După ce datele au fost extrase dintr-un sistem sursă și transformate pentru a corespunde cazurilor de utilizare de analiză sau raportare, este momentul să le încarci într-un mediu de stocare final. Stocarea datelor curățate într-o bază de date SQL le facilitează accesul și rularea de interogări pentru consumatorii de date. În acest exemplu, vei exersa încărcarea datelor curățate într-o bază de date Postgres.
sqlalchemy a fost importat, iar pandas este disponibil ca pd. Primele rânduri ale DataFrame-ului cleaned_testing_scores sunt afișate mai jos:
street_address city math_score ... best_score
01M539 111 Columbia Street Manhattan 657.0 Math
02M545 350 Grand Street Manhattan 613.0 Math
01M292 220 Henry Street Manhattan 410.0 Math
Acest exercițiu face parte din cursul
ETL și ELT în Python
Instrucțiuni pentru exercițiu
- Actualizează șirul de conexiune pentru a scrie în baza de date
schoolsși creează un obiect de conexiune folosindsqlalchemy. - Folosește
pandaspentru a scrie DataFrame-ulcleaned_testing_scoresîn tabelulscoresdin baza de dateschools. - Dacă tabelul este deja populat cu date, asigură-te că înlocuiești valorile cu cele din DataFrame-ul curent.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Update the connection string, create the connection object to the schools database
db_engine = sqlalchemy.____("postgresql+psycopg2://repl:password@localhost:5432/____")
# Write the DataFrame to the scores table
cleaned_testing_scores.____(
name="____",
con=db_engine,
index=False,
if_exists="____"
)