การโหลดไฟล์ที่โฮสต์ไว้

ทีมวิศวกรรมข้อมูลของ Sierra Publishing กำลังศึกษาฟีเจอร์ต่าง ๆ ของ Databricks เพื่อนำมาใช้ในไปป์ไลน์ข้อมูล วิศวกรข้อมูลคนหนึ่งได้หยิบยกปัญหามาหารือกับคุณ:

ตอนนี้ฉันกำลังอ่านไฟล์ CSV หลายไฟล์จาก data lake ภายนอก ปัญหาคือทำให้ตารางข้อมูลถูกต้องแม่นยำได้ยากมาก เพราะไม่รู้ว่าไฟล์ใหม่จะเข้ามาเมื่อไร และจำไม่ได้ว่าไฟล์ไหนโหลดเข้าตารางไปแล้วบ้าง

คุณต้องการใช้ฟังก์ชันในตัวของ Databricks เพื่อแก้ปัญหานี้ ตัวเลือกใดต่อไปนี้จะช่วยได้?