Перевірка даних, завантажених до бази даних Postgres
У цій вправі ви нарешті побудуєте конвеєр обробки даних від початку до кінця. Цей конвеєр витягне результати шкільного тестування з JSON-файла та перетворить дані, вилучивши рядки з відсутніми балами. Крім того, для кожної школи буде обчислено рейтинг у межах міста, де вона розташована, на основі загальної суми балів. Насамкінець перетворений набір даних буде збережено в базі даних Postgres.
Щоб ви швидше стартували, функції extract() і transform() уже створені та використані, як показано нижче. Окрім цього, pandas імпортовано як pd. Успіхів!
# Витягніть і очистіть результати тестування.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Ця вправа є частиною курсу
ETL та ELT у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)