Încărcarea fișierelor găzduite

Echipa ta de inginerie a datelor de la Sierra Publishing a analizat diferite funcționalități ale Databricks pentru pipeline-urile lor. Unul dintre inginerii de date ți-a prezentat o problemă:

În prezent, citesc mai multe fișiere CSV dintr-o locație externă de tip data lake. A fost foarte greu să mențin tabelele actualizate, pentru că nu știu niciodată când sosesc noile fișiere de date și nu îmi pot aminti cu ușurință ce fișiere am încărcat deja în tabele.

Vrei să folosești funcționalități native Databricks pentru a rezolva această problemă. Care dintre opțiunile de mai jos ar ajuta la rezolvarea ei?