Ghi log trong một pipeline dữ liệu
Trong bài tập này, bạn sẽ xem lại hàm bạn đã viết trong một video trước và thực hành thêm ghi log cho hàm đó. Việc này sẽ giúp bạn khắc phục sự cố hoặc khi cần thay đổi logic!
pandas đã được import với bí danh pd. Ngoài ra, mô-đun logging đã được import và log-level mặc định đã được đặt là "debug".
Bài tập này là một phần của khóa học
ETL và ELT với Python
Hướng dẫn bài tập
- Tạo một log mức info sau bước chuyển đổi, truyền chuỗi:
"Transformed 'Order Date' column to type 'datetime'." - Ghi log thuộc tính
.shapecủa DataFrame ở mức debug trước và sau khi lọc.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def transform(raw_data):
raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
# Create an info log regarding transformation
logging.____("Transformed 'Order Date' column to type 'datetime'.")
# Create debug-level logs for the DataFrame before and after filtering
____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
return clean_data
clean_sales_data = transform(raw_sales_data)