주요 데이터 작업

여러 개의 마이크로서비스를 담당하는 데이터 엔지니어라고 가정해 봅시다. 모든 마이크로서비스는 자체 데이터베이스를 갖고 있지만, 리포팅에는 사용되지 않아요. 마이크로서비스에 저장된 데이터에 유용한 정보가 많다고 판단했고, 이 데이터를 분석에 활용할 수 있게 만들고 싶습니다. 이를 위해 데이터를 분석용 데이터베이스로 옮기기 위해 extract, transform, load(ETL)를 수행하는 데이터 파이프라인을 만들려고 합니다.