Votre équipe d'ingénierie des données chez Sierra Publishing a étudié les différentes fonctionnalités de Databricks pour leurs pipelines d'ingénierie des données. L'un de vos ingénieurs de données vous a posé un problème :

En ce moment, je lis plusieurs fichiers CSV à partir d'un emplacement de lac de données externe. Il a été très difficile de maintenir mes tableaux à jour car je ne sais jamais quand les nouveaux fichiers de données arrivent et je ne peux pas facilement me souvenir des fichiers que j'ai déjà chargés dans mes tableaux.

Vous souhaitez utiliser la fonctionnalité intégrée de Databricks pour résoudre ce problème. Laquelle des options suivantes permettrait de résoudre le problème ?

Exemple de pipeline de données de bout en bout dans Databricks

Create Your Free Account