Inläsning av filer från extern lagring
Ditt data engineering-team på Sierra Publishing har undersökt olika funktioner i Databricks för sina datapipelines. En av dina dataingenjörer har ställt ett problem till dig:
Just nu läser jag in flera CSV-filer från en extern datasjölagring. Det har varit svårt att hålla mina tabeller aktuella eftersom jag aldrig vet när de nya datafilerna kommer in, och jag har svårt att hålla reda på vilka filer jag redan har läst in i mina tabeller.
Du vill använda inbyggd Databricks-funktionalitet för att lösa problemet. Vilket av följande alternativ skulle hjälpa till att lösa det?
Den här övningen är en del av kursen
Databricks – grundläggande koncept
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen