Проверка данных, загруженных в базу данных Postgres
В этом упражнении вы наконец-то создадите полноценный пайплайн данных от начала до конца. Этот пайплайн будет извлекать результаты школьных тестов из JSON-файла и преобразовывать данные, удаляя строки с пропущенными баллами. Кроме того, каждая школа будет получать рейтинг в своём городе на основе суммарных баллов. В завершение преобразованный набор данных будет сохранён в базе данных Postgres.
Чтобы вам было проще начать, функции extract() и transform() уже созданы и использованы, как показано ниже. Также pandas уже импортирован как pd. Удачи!
# Извлекаем и очищаем результаты тестирования.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Это упражнение является частью курса
ETL и ELT в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)