Xác thực dữ liệu đã tải vào Postgres Database
Trong bài tập này, cuối cùng bạn sẽ xây dựng một pipeline dữ liệu end-to-end. Pipeline này sẽ trích xuất điểm kiểm tra của trường học từ một tệp JSON và biến đổi dữ liệu để loại bỏ các hàng có điểm bị thiếu. Bên cạnh đó, mỗi trường sẽ được xếp hạng theo thành phố nơi trường tọa lạc, dựa trên tổng điểm của họ. Cuối cùng, tập dữ liệu đã được biến đổi sẽ được lưu vào Postgres database.
Để bạn bắt đầu nhanh hơn, các hàm extract() và transform() đã được xây dựng và sử dụng như dưới đây. Ngoài ra, pandas đã được import với tên pd. Chúc bạn làm tốt!
# Extract và làm sạch điểm kiểm tra.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Bài tập này là một phần của khóa học
ETL và ELT với Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)