データパイプラインの手順

Sierra Publishing のビジネス上重要なデータパイプラインの1つは、高スループットの Kafka データストリームに依存しています。データを読み込み、いくつかの他のデータセットと結合する必要があります。

データエンジニアリングチームは、このデータパイプラインを Databricks でより効率化し、下流の利用者が分析のためにリアルタイムでこのデータを読めるようにしたいと考えています。