Carregando arquivos hospedados

Sua equipe de engenharia de dados na Sierra Publishing tem explorado diferentes recursos do Databricks para suas pipelines de engenharia de dados. Um dos seus engenheiros de dados trouxe um problema para você:

No momento, estou lendo vários arquivos CSV de um local externo de data lake. Tem sido muito difícil manter minhas tabelas precisas porque nunca sei quando chegam novos arquivos de dados e não consigo lembrar facilmente quais arquivos já carreguei nas minhas tabelas.

Você quer usar funcionalidades nativas do Databricks para resolver esse problema. Qual das opções a seguir ajudaria a solucionar a situação?