การตรวจสอบข้อมูลที่โหลดเข้าสู่ฐานข้อมูล Postgres
ในแบบฝึกหัดนี้ ในที่สุดคุณจะได้สร้างไปป์ไลน์ข้อมูลแบบครบวงจรตั้งแต่ต้นจนจบ ไปป์ไลน์นี้จะดึงคะแนนสอบของโรงเรียนจากไฟล์ JSON แล้วแปลงข้อมูลเพื่อตัดแถวที่มีคะแนนขาดหายออก นอกจากนี้ แต่ละแถวจะถูกจัดอันดับตามเมืองที่ตั้งอยู่ โดยพิจารณาจากคะแนนรวม สุดท้าย ชุดข้อมูลที่แปลงแล้วจะถูกจัดเก็บลงในฐานข้อมูล Postgres
เพื่อช่วยให้เริ่มต้นได้ง่ายขึ้น ฟังก์ชัน extract() และ transform() ถูกสร้างและใช้งานไว้ดังที่แสดงด้านล่างนี้แล้ว นอกจากนี้ยังมีการ import pandas เป็น pd ไว้ให้ด้วย ขอให้โชคดี!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL and ELT ใน Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)