데이터 파이프라인 자동화

여러분은 한 온라인 여행사에서 일하고 있으며, 여행자가 적절한 보험에 가입했는지 실시간으로 확인하기 위해 보험사와 정보를 교환하는 Application Programming Interface(API)를 만들라는 과제를 받았어요. 이 API는 insurance_checker라는 마이크로서비스에 연결될 예정이에요.

이제, 다음을 수행하려고 합니다.

1. insurance_checker API의 결과를 기록하는 데이터 파이프라인을 구축해요.
2. 매일 밤 데이터를 자동으로 변환하여 다른 데이터베이스에 기록해요.

각 단계에 어떤 도구와 어떤 파이프라인 방식을 사용할 수 있을까요?