Xác thực dữ liệu đã nạp vào cơ sở dữ liệu Postgres
Trong bài tập này, cuối cùng bạn sẽ xây dựng một pipeline dữ liệu từ đầu đến cuối. Pipeline này sẽ trích xuất điểm kiểm tra của trường học từ một tệp JSON và biến đổi dữ liệu để loại bỏ các hàng bị thiếu điểm. Ngoài ra, mỗi trường sẽ được xếp hạng theo thành phố nơi trường đặt trụ sở, dựa trên tổng điểm. Cuối cùng, tập dữ liệu đã biến đổi sẽ được lưu vào cơ sở dữ liệu Postgres.
Để bạn bắt đầu nhanh hơn, các hàm extract() và transform() đã được xây dựng sẵn và sử dụng như dưới đây. Bên cạnh đó, đã import pandas với bí danh pd. Chúc bạn hoàn thành tốt!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Bài tập này là một phần của khóa học
ETL và ELT với Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)