데이터 로딩 시 예외 처리
가끔 데이터 파이프라인에서 예외가 발생할 수 있어요. 예외는 일종의 경보로, 예기치 않은 일이 생겼을 때 데이터 엔지니어에게 알려 줍니다. 이런 예외를 제대로 처리하는 것이 중요해요. 이번 연습 문제에서는 이를 직접 연습해 보겠습니다!
시작을 돕기 위해 pandas는 pd로, logging 모듈도 이미 임포트되어 있어요. 기본 로그 레벨은 "debug"로 설정되어 있습니다.
이 연습은 강의의 일부입니다
Python으로 ETL과 ELT
연습 안내
- 파이프라인에
try블록을 추가하고, 경로"sales_data.parquet"에서 데이터를 읽어 오세요. - 파일을
pandasDataFrame으로 읽을 수 없는 경우FileNotFoundError를 잡으세요. - 실패를 기록하기 위해 오류 수준 로그를 생성하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)