Xử lý ngoại lệ khi tải dữ liệu
Đôi khi, pipeline dữ liệu của bạn có thể ném ra một ngoại lệ. Các ngoại lệ này là một dạng cảnh báo, giúp Data Engineer biết khi có điều bất ngờ xảy ra. Việc xử lý đúng cách các ngoại lệ là rất quan trọng. Trong bài tập này, bạn sẽ thực hành điều đó!
Để bạn bắt đầu, pandas đã được import là pd, cùng với module logging cũng đã được import. Mức log mặc định đã được đặt là "debug".
Bài tập này là một phần của khóa học
ETL và ELT với Python
Hướng dẫn bài tập
- Cập nhật pipeline để bao gồm một khối
try, và thử đọc dữ liệu từ đường dẫn"sales_data.parquet". - Bắt
FileNotFoundErrornếu không thể đọc tệp vào một DataFrame củapandas. - Tạo một log ở mức lỗi để ghi nhận việc thất bại.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)