ตรวจสอบข้อมูลที่โหลดลงฐานข้อมูล Postgres
ในแบบฝึกหัดนี้ จะได้สร้าง data pipeline แบบครบวงจรตั้งแต่ต้นจนจบ pipeline นี้จะดึงคะแนนการทดสอบของโรงเรียนจากไฟล์ JSON แล้วแปลงข้อมูลโดยลบแถวที่มีคะแนนขาดหายไปออก นอกจากนี้ แต่ละโรงเรียนจะถูกจัดอันดับตามเมืองที่ตั้งอยู่ โดยอิงจากคะแนนรวม สุดท้าย ชุดข้อมูลที่ผ่านการแปลงแล้วจะถูกจัดเก็บลงในฐานข้อมูล Postgres
เพื่อให้เริ่มต้นได้เร็วขึ้น ฟังก์ชัน extract() และ transform() ถูกสร้างไว้แล้วและใช้งานดังที่แสดงด้านล่าง นอกจากนี้ pandas ได้ถูก import ในชื่อ pd แล้ว ขอให้โชคดี!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL และ ELT ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)