Pașii unui pipeline de date

Unul dintre pipeline-urile de date critice pentru afacerea Sierra Publishing se bazează pe un flux de date de mare viteză, provenit dintr-un stream Kafka. Trebuie să citim datele și să le unim cu câteva alte seturi de date.

Echipa ta de inginerie a datelor dorește să folosească Databricks pentru a eficientiza acest pipeline și pentru a permite consumatorilor din aval să acceseze datele în timp real pentru analizele lor.