Postgres データベースへのデータの読み込み
ソースシステムからデータを抽出し、分析やレポートの用途に合わせて変換したら、最後の保存先にデータをロードします。クリーンなデータを SQL データベースに保存しておくと、利用者が簡単にアクセスしてクエリを実行できます。この演習では、クレンジング済みデータを Postgres データベースにロードする練習をします。
sqlalchemy はインポート済みで、pandas は pd として利用できます。cleaned_testing_scores DataFrame の先頭数行は次のとおりです。
street_address city math_score ... best_score
01M539 111 Columbia Street Manhattan 657.0 Math
02M545 350 Grand Street Manhattan 613.0 Math
01M292 220 Henry Street Manhattan 410.0 Math
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
- 接続文字列を更新して
schoolsデータベースに書き込めるようにし、sqlalchemyを使って接続オブジェクトを作成してください。 pandasを使って、cleaned_testing_scoresDataFrame をschoolsデータベースのscoresテーブルに書き込んでください。- すでにテーブルにデータが入っている場合は、現在の DataFrame の値で置き換えるようにしてください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Update the connection string, create the connection object to the schools database
db_engine = sqlalchemy.____("postgresql+psycopg2://repl:password@localhost:5432/____")
# Write the DataFrame to the scores table
cleaned_testing_scores.____(
name="____",
con=db_engine,
index=False,
if_exists="____"
)