Postgres データベースにロードしたデータの検証
この演習では、いよいよエンドツーエンドのデータパイプラインを構築します。パイプラインは JSON ファイルから学校のテストスコアを抽出し、欠損スコアのある行を削除してデータを変換します。さらに、各学校について合計スコアに基づき、所在する都市ごとに順位付けを行います。最後に、変換後のデータセットを Postgres データベースに保存します。
スタートしやすいように、extract() と transform() 関数はすでに作成済みで、以下のとおりに使われています。また、pandas は pd としてインポート済みです。頑張ってください！
# テストスコアを抽出してクリーンアップする。
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
この演習はコースの一部です
Python で学ぶ ETL と ELT
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)