데이터 파이프라인 단계

Sierra Publishing의 비즈니스 핵심 데이터 파이프라인 중 하나는 Kafka 데이터 스트림에서 유입되는 고속 데이터 스트림에 의존해요. 우리는 이 데이터를 읽어 들여 몇 가지 다른 데이터셋과 조인해야 해요.

데이터 엔지니어링 팀은 Databricks를 사용해 이 데이터 파이प라인의 효율을 높이고, 하류 소비자들이 분석을 위해 이 데이터를 실시간으로 읽을 수 있도록 하길 원해요.