Postgres डेटाबेस में लोड किए गए डेटा का वैलिडेशन
इस अभ्यास में, आप अंततः एक एंड-टू-एंड डेटा पाइपलाइन बनाएँगे। यह पाइपलाइन JSON फ़ाइल से स्कूल टेस्टिंग स्कोर निकालेगी और डेटा को ट्रांसफॉर्म करके ऐसे रो हटाएगी जिनमें स्कोर गायब हैं। इसके अलावा, हर स्कूल को उनकी सिटी के भीतर उनके टोटल स्कोर के आधार पर रैंक किया जाएगा। आखिर में, ट्रांसफॉर्म किया हुआ डेटासेट Postgres डेटाबेस में स्टोर किया जाएगा।
शुरुआत में मदद के लिए, extract() और transform() फंक्शन पहले से बनाए गए हैं और नीचे दिखाए अनुसार इस्तेमाल हुए हैं। इसके अलावा, pandas को pd के रूप में इम्पोर्ट किया गया है। शुभकामनाएँ!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में ETL और ELT
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)