데이터 파이프라인 내 모니터링 및 알림
이제 모든 것을 종합할 차례입니다! 이미 짐작하셨겠지만, try-except를 활용한 오류 처리와 로깅은 서로 긴밀하게 연결되어 있습니다. 이 두 가지 방법은 파이프라인을 탄력적이고 투명하게 만드는 데 필수적이며, 더 발전된 모니터링 및 알림 솔루션을 구축하는 토대가 됩니다.
pandas는 pd로 임포트되어 있으며, logging 모듈도 이미 불러와 설정이 완료된 상태입니다. raw_sales_data DataFrame은 추출이 완료되어 변환할 준비가 되어 있습니다.
이 연습은 강의의 일부입니다
Python으로 하는 ETL과 ELT
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")