Postgres डेटाबेस में लोड किए गए डेटा का वैलिडेशन
इस अभ्यास में, आप अंततः एंड-टू-एंड एक डेटा पाइपलाइन बनाएँगे। यह पाइपलाइन JSON फ़ाइल से स्कूल के टेस्ट स्कोर एक्सट्रैक्ट करेगी और जिन पंक्तियों में स्कोर गायब हैं उन्हें हटाकर डेटा ट्रांसफॉर्म करेगी। इसके अतिरिक्त, हर स्कूल को उसके कुल स्कोर के आधार पर जिस शहर में वह स्थित है, वहाँ की रैंक दी जाएगी। अंत में, ट्रांसफॉर्म किया हुआ डेटासेट एक Postgres डेटाबेस में स्टोर किया जाएगा।
शुरुआत आसान बनाने के लिए, extract() और transform() फंक्शन पहले से बनाए गए हैं और नीचे दिखाए अनुसार उपयोग किए गए हैं। इसके अलावा, pandas को pd नाम से इम्पोर्ट किया गया है। शुभकामनाएँ!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में ETL और ELT
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)