Etapas do pipeline de dados

Um dos pipelines de dados mais críticos para os negócios da Sierra Publishing depende de um fluxo de dados de alta velocidade, proveniente de um fluxo de dados do Kafka. Precisamos ler os dados e uni-los a alguns outros conjuntos de dados.

Sua equipe de engenharia de dados gostaria de usar o Databricks para tornar esse pipeline de dados mais eficiente e permitir que os consumidores downstream leiam esses dados em tempo real para suas análises.