Validation des données chargées dans une base Postgres
Dans cet exercice, vous allez enfin construire un pipeline de données de bout en bout. Ce pipeline va extraire les résultats de tests scolaires à partir d'un fichier JSON et transformer les données en supprimant les lignes dont les scores sont manquants. En plus de cela, chaque école sera classée par ville, en fonction de son score total. Enfin, l'ensemble de données transformé sera stocké dans une base de données Postgres.
Pour vous faire gagner du temps, les fonctions extract() et transform() ont été créées et utilisées comme montré ci-dessous. De plus, pandas a été importé sous le nom pd. Bonne chance !
# Extraction et nettoyage des résultats de tests.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Cet exercice fait partie du cours
<cours>ETL et ELT en Python</cours>Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)