Utilizarea Auto Loader

Până acum, am văzut cum să ingerezi fișiere individuale, dar cum poți face acest lucru mai eficient și mai inteligent? Aici intervine Auto Loader, care oferă posibilitatea de a procesa incremental fișierele noi pe măsură ce ajung într-o locație specificată.

Care dintre afirmațiile de mai jos descrie cel mai bine modul în care funcționează Auto Loader la ingestia datelor noi?

Acest exercițiu face parte din cursul

Introducere în Databricks SQL

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Introducere în Databricks SQL

SkillTag.level.intermediateSkillTag.label

4.7+

Începe cursul gratuit

Construiește o bază solidă de data warehousing cu Databricks Data Intelligence Platform! Vei învăța cum Databricks și arhitectura lakehouse pregătesc organizația ta pentru un stack modern de SQL și BI. Vei explora, de asemenea, componentele esențiale ale produsului Databricks SQL, de la tehnici de stocare a datelor până la optimizări de calcul.

Exercise 1: SQL în platforma Data Intelligence Exercise 2: Avantajele arhitecturii lakehouse pentru SQL Exercise 3: Explorarea Databricks SQL Exercise 4: Explorarea datelor Exercise 5: Partner Connect Exercise 6: Componentele cheie ale Databricks SQL Exercise 7: Clasificarea elementelor din Databricks SQL Exercise 8: Creează o interogare Exercise 9: Creează o vizualizare

Construiește o fundație solidă de date pentru arhitectura lakehouse! Vei învăța cum să ingerezi, să transformi și să modelezi datele folosind capabilitățile Databricks SQL. Vei explora abordări bazate pe interfață grafică și abordări programatice pentru a construi arhitectura medallion și a crea un ecosistem de date pregătit pentru orice tip de analiză.

Exercise 1: Ingestia datelor Exercise 2: Ingestia datelor prin GUI Exercise 3: Popularea lakehouse-ului cu date Exercise 4: Încarcă date manual Exercise 5: Folosirea comenzii COPY INTO Exercise 6: Utilizarea Auto Loader

Exercițiul curent

Exercise 7: Transformarea datelor Exercise 8: SQL și arhitectura medallion Exercise 9: Crearea unui strat de date pentru cafea Exercise 10: Curățarea tabelelor brute Exercise 11: Crearea stratului Silver Exercise 12: Crearea unui tabel cu revendicările de primă mare

Creează informații valoroase din date folosind Databricks SQL! Vei învăța cum să scrii interogări, să creezi vizualizări și să alimentezi tablouri de bord folosind capabilitățile native ale platformei Databricks. Vei exersa utilizarea codului SQL, a filtrelor și a parametrilor pentru a construi o aplicație analitică robustă pentru utilizatorii finali.

Exercise 1: Interogări în Platforma de Informații despre Date Exercise 2: Instrumente analitice în Databricks SQL Exercise 3: Interogarea setului nostru de date despre cafea Exercise 4: Analiza dosarelor de daune Exercise 5: Completarea interogărilor cu funcții Exercise 6: Vizualizarea rezultatelor interogărilor Exercise 7: Crearea unei aplicații de analiză Exercise 8: Rolul Partner Connect Exercise 9: Un dashboard cu date despre cafea Exercise 10: Adăugarea filtrelor în dashboard-uri Exercise 11: Utilizarea parametrilor în interogări Exercise 12: Creează un dashboard executiv

În ultimul capitol, vei explora tehnici mai avansate care valorifică avantajele cheie ale platformei Databricks. Vei învăța cum să gestionezi date cu volum ridicat și în schimbare rapidă folosind funcții de fereastră și vei putea combina seturi de date pe măsură ce acestea sosesc.

Exercise 1: Tipare comune de inginerie a datelor Exercise 2: Adăugare vs. CDC Exercise 3: Actualizarea datelor despre vânzările de cafea Exercise 4: Optimizarea datelor cu SQL Exercise 5: Utilizarea INSERT Exercise 6: Utilizarea MERGE Exercise 7: Tipare avansate de analiză a datelor Exercise 8: Înțelegerea funcțiilor de fereastră și a subinterogărilor Exercise 9: Analiza vânzărilor de cafea pe magazine Exercise 10: Scrierea unei sub-interogări Exercise 11: Utilizarea unei funcții de fereastră Exercise 12: Combinarea funcțiilor de fereastră cu sub-interogări Exercise 13: Recapitularea cursului