Ładowanie plików zewnętrznych

Twój zespół inżynierii danych w Sierra Publishing analizuje różne funkcje Databricks pod kątem wykorzystania w pipeline'ach inżynierii danych. Jeden z inżynierów danych przedstawił ci następujący problem:

Aktualnie wczytuję kilka plików CSV z zewnętrznej lokalizacji w data lake. Utrzymanie aktualności moich tabel jest bardzo trudne, bo nigdy nie wiem, kiedy pojawiają się nowe pliki, i nie pamiętam, które z nich zostały już załadowane do tabel.

Chcesz skorzystać z wbudowanych funkcji Databricks, aby rozwiązać ten problem. Która z poniższych opcji byłaby pomocna?