Carregamento em arquivos hospedados

A equipe de engenharia de dados da Sierra Publishing está analisando diferentes recursos do Databricks para seus pipelines de engenharia de dados. Um dos seus engenheiros de dados apresentou um problema para você:

No momento, estou lendo vários arquivos CSV de um local externo do data lake. Tem sido muito difícil manter minhas tabelas precisas porque nunca sei quando os novos arquivos de dados chegam e não consigo lembrar facilmente quais arquivos já carreguei em minhas tabelas.

Você deseja usar a funcionalidade integrada do Databricks para resolver esse problema. Qual das opções a seguir ajudaria a resolver o problema?