Étapes du pipeline de données

L'un de vos pipelines de données les plus critiques chez Sierra Publishing repose sur un flux de données à grande vitesse, qui provient d'un flux de données Kafka. Nous devons lire les données et les joindre à quelques autres ensembles de données.

Votre équipe d'ingénierie des données aimerait utiliser Databricks pour rendre ce pipeline de données plus efficace et permettre aux consommateurs en aval de lire ces données en temps réel pour leurs analyses.