Проверка данных, загруженных в базу данных Postgres
В этом упражнении вы построите конвейер данных от начала до конца. Конвейер будет извлекать результаты школьных тестов из JSON-файла и преобразовывать данные, удаляя строки с отсутствующими оценками. Кроме того, каждая школа будет ранжирована в рамках своего города на основе суммарных баллов. Наконец, преобразованный набор данных будет сохранён в базе данных Postgres.
Чтобы упростить вам задачу, функции extract() и transform() уже реализованы и применены, как показано ниже. Также импортирована библиотека pandas под псевдонимом pd. Удачи!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Это упражнение является частью курса
ETL и ELT на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)