Validation des données chargées dans une base de données Postgres
Dans cet exercice, vous allez enfin créer un pipeline de données de bout en bout. Ce pipeline extraira les résultats de tests scolaires à partir d'un fichier JSON et transformera les données pour supprimer les lignes où des résultats sont manquants. En plus, chaque école sera classée par ville, selon son total de points. Enfin, l'ensemble de données transformé sera stocké dans une base de données Postgres.
Pour vous faire gagner du temps, les fonctions extract() et transform() ont déjà été créées et utilisées comme ci-dessous. De plus, pandas a été importé sous le nom pd. Bonne chance!
# Extraire et nettoyer les résultats de tests.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Cette activité fait partie du cours
ETL et ELT en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)