Postgres データベースに読み込んだデータを検証する
この演習では、いよいよエンドツーエンドのデータパイプラインを構築します。このパイプラインは、JSON ファイルから学校のテストスコアを抽出し、スコアが欠損している行を削除するようデータを変換します。さらに、各校は所在する都市ごとに合計スコアに基づいてランク付けされます。最後に、変換後のデータセットは Postgres データベースに保存されます。
スムーズに進められるよう、extract() 関数と transform() 関数はあらかじめ用意されており、以下のように使用されています。また、pandas はすでに pd としてインポートされています。頑張ってください。
# テストスコアを抽出してクリーニングします。
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
この演習はコースの一部です
Python で学ぶ ETL と ELT
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)