डेटा पाइपलाइन के भीतर लॉगिंग
इस अभ्यास में, आप पिछले वीडियो में लिखे गए फंक्शन पर दोबारा नज़र डालेंगे और उसमें लॉगिंग जोड़ने का अभ्यास करेंगे. यह त्रुटियों को ट्रबलशूट करने या लॉजिक में बदलाव करते समय मदद करेगा!
pandas को pd नाम से इम्पोर्ट किया गया है. इसके अलावा logging मॉड्यूल भी इम्पोर्ट किया गया है, और डिफ़ॉल्ट log-level "debug" पर सेट किया गया है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में ETL और ELT
अभ्यास निर्देश
- ट्रांसफ़ॉर्मेशन के बाद एक info-लेवल लॉग बनाएँ और यह स्ट्रिंग पास करें:
"Transformed 'Order Date' column to type 'datetime'." - फ़िल्टरिंग से पहले और बाद में DataFrame की
.shapeको debug-लेवल पर लॉग करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
def transform(raw_data):
raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
# Create an info log regarding transformation
logging.____("Transformed 'Order Date' column to type 'datetime'.")
# Create debug-level logs for the DataFrame before and after filtering
____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
return clean_data
clean_sales_data = transform(raw_sales_data)