Cargar archivos alojados

Tu equipo de ingeniería de datos en Sierra Publishing ha estado investigando distintas funcionalidades de Databricks para sus canalizaciones de ingeniería de datos. Una de tus personas ingenieras de datos te ha planteado un problema:

Ahora mismo estoy leyendo varios archivos CSV desde una ubicación externa en un data lake. Me está costando mucho mantener mis tablas correctas porque nunca sé cuándo llegan nuevos archivos de datos y no puedo recordar fácilmente qué archivos ya he cargado en mis tablas.

Quieres usar funcionalidades integradas de Databricks para resolver este problema. ¿Cuál de las siguientes opciones ayudaría a resolverlo?