Ładowanie danych do bazy Postgres
Gdy dane zostaną wyekstrahowane z systemu źródłowego i przekształcone na potrzeby analityki lub raportowania, nadchodzi czas na załadowanie ich do docelowego miejsca przechowywania. Zapisanie oczyszczonych danych w bazie SQL ułatwia użytkownikom dostęp do nich i wykonywanie zapytań. W tym ćwiczeniu przećwiczysz ładowanie oczyszczonych danych do bazy Postgres.
Biblioteka sqlalchemy została już zaimportowana, a pandas jest dostępny jako pd. Kilka pierwszych wierszy DataFrame cleaned_testing_scores przedstawia się następująco:
street_address city math_score ... best_score
01M539 111 Columbia Street Manhattan 657.0 Math
02M545 350 Grand Street Manhattan 613.0 Math
01M292 220 Henry Street Manhattan 410.0 Math
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Instrukcje do ćwiczenia
- Zaktualizuj ciąg połączenia, aby wskazywał na bazę danych
schools, a następnie utwórz obiekt połączenia przy użyciusqlalchemy. - Użyj biblioteki
pandas, aby zapisać DataFramecleaned_testing_scoresdo tabeliscoresw bazie danychschools. - Jeśli tabela zawiera już dane, zadbaj o to, aby zostały zastąpione wartościami z bieżącego DataFrame.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Update the connection string, create the connection object to the schools database
db_engine = sqlalchemy.____("postgresql+psycopg2://repl:password@localhost:5432/____")
# Write the DataFrame to the scores table
cleaned_testing_scores.____(
name="____",
con=db_engine,
index=False,
if_exists="____"
)