데이터 로드 시 예외 처리하기
데이터 파이프라인에서는 때때로 예외가 발생할 수 있습니다. 이러한 예외는 일종의 경고 역할을 하며, 예상치 못한 일이 발생했을 때 데이터 엔지니어에게 이를 알려줍니다. 따라서 이러한 예외를 적절히 처리하는 것이 중요합니다. 이번 연습 문제에서 바로 이 부분을 연습해 보겠습니다!
시작에 도움이 되도록 pandas가 pd로 임포트되어 있고, logging 모듈도 임포트되어 있습니다. 기본 로그 수준은 "debug"로 설정되어 있습니다.
이 연습은 강의의 일부입니다
Python으로 하는 ETL과 ELT
연습 안내
- 파이프라인에
try블록을 추가하여"sales_data.parquet"경로에서 데이터를 읽어오도록 시도하세요. - 파일을
pandasDataFrame으로 읽어올 수 없는 경우FileNotFoundError를 포착하세요. - 실패 상황을 기록하기 위해 오류 수준의 로그를 생성하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)