Загрузка размещённых файлов

Команда разработчиков данных компании Sierra Publishing изучает различные возможности Databricks для построения конвейеров обработки данных. Один из инженеров сформулировал следующую проблему:

Сейчас я загружаю несколько CSV-файлов из внешнего источника данных. Поддерживать таблицы в актуальном состоянии очень сложно: я не знаю, когда поступают новые файлы, и с трудом отслеживаю, какие из них уже были загружены.

Вы хотите решить эту проблему с помощью встроенных инструментов Databricks. Какой из предложенных вариантов подойдёт лучше всего?