Gegevens laden naar een Postgres-database
Nadat gegevens uit een bronsysteem zijn geëxtraheerd en getransformeerd zodat ze aansluiten bij analytics- of rapportage-use-cases, is het tijd om de data te laden naar een definitief opslagmedium. Het opslaan van opgeschoonde data in een SQL-database maakt het voor datagebruikers eenvoudig om er toegang toe te krijgen en er queries op uit te voeren. In dit voorbeeld oefen je met het laden van opgeschoonde data naar een Postgres-database.
sqlalchemy is geïmporteerd en pandas is beschikbaar als pd. De eerste paar rijen van de DataFrame cleaned_testing_scores zie je hieronder:
street_address city math_score ... best_score
01M539 111 Columbia Street Manhattan 657.0 Math
02M545 350 Grand Street Manhattan 613.0 Math
01M292 220 Henry Street Manhattan 410.0 Math
Deze oefening maakt deel uit van de cursus
ETL en ELT in Python
Oefeninstructies
- Werk de connectiestring bij om te schrijven naar de database
schoolsen maak een connectieobject metsqlalchemy. - Gebruik
pandasom de DataFramecleaned_testing_scoresweg te schrijven naar de tabelscoresin de databaseschools. - Als de tabel al data bevat, vervang de waarden dan met de huidige DataFrame.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Update the connection string, create the connection object to the schools database
db_engine = sqlalchemy.____("postgresql+psycopg2://repl:password@localhost:5432/____")
# Write the DataFrame to the scores table
cleaned_testing_scores.____(
name="____",
con=db_engine,
index=False,
if_exists="____"
)