Ghi log trong một pipeline dữ liệu
Trong bài tập này, bạn sẽ xem lại hàm đã viết ở video trước và thực hành thêm logging vào hàm đó. Việc này sẽ hữu ích khi bạn cần xử lý lỗi hoặc thay đổi logic!
pandas đã được import với bí danh pd. Bên cạnh đó, mô-đun logging cũng đã được import và mức log mặc định đã được đặt là "debug".
Bài tập này là một phần của khóa học
ETL và ELT với Python
Hướng dẫn bài tập
- Tạo một log cấp độ info sau bước chuyển đổi, truyền chuỗi:
"Transformed 'Order Date' column to type 'datetime'." - Ghi log
.shapecủa DataFrame ở cấp độ debug trước và sau khi lọc.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def transform(raw_data):
raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
# Create an info log regarding transformation
logging.____("Transformed 'Order Date' column to type 'datetime'.")
# Create debug-level logs for the DataFrame before and after filtering
____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
return clean_data
clean_sales_data = transform(raw_sales_data)