Gehoste bestanden laden

Je data-engineeringteam bij Sierra Publishing heeft verschillende functies van Databricks onderzocht voor hun data-engineeringpijplijnen. Een van je data engineers heeft je het volgende probleem voorgelegd:

Op dit moment lees ik meerdere CSV-bestanden in vanaf een externe data lake-locatie. Het is erg lastig om mijn tabellen kloppend te houden, omdat ik nooit weet wanneer er nieuwe databestanden binnenkomen, en ik niet gemakkelijk kan onthouden welke bestanden ik al in mijn tabellen heb geladen.

Je wilt ingebouwde Databricks-functionaliteit gebruiken om dit probleem op te lossen. Welke van de volgende opties zou helpen om het probleem op te lossen?