होस्टेड फ़ाइलें लोड करना

Sierra Publishing की आपकी डेटा इंजीनियरिंग टीम अपने डेटा इंजीनियरिंग पाइपलाइनों के लिए Databricks की अलग-अलग क्षमताओं को देख रही है. आपके एक डेटा इंजीनियर ने आपसे यह समस्या साझा की है:

अभी, मैं एक बाहरी डेटा लेक लोकेशन से कई CSV फ़ाइलें पढ़ रहा/रही हूँ. मेरी टेबल्स को सटीक रखना बहुत मुश्किल रहा है क्योंकि मुझे कभी पता नहीं चलता कि नई डेटा फ़ाइलें कब आती हैं, और मुझे यह भी आसानी से याद नहीं रहता कि कौन-सी फ़ाइलें मैं पहले ही अपनी टेबल्स में लोड कर चुका/चुकी हूँ.

आप यह समस्या हल करने के लिए बिल्ट-इन Databricks फ़ंक्शनैलिटी का उपयोग करना चाहते हैं. निम्न में से कौन-सा विकल्प इस समस्या को हल करने में मदद करेगा?