Acest capitol explorează gestionarea tabelelor în Databricks, cu accent pe diferența dintre tabelele gestionate și cele negestionate, precum și pe modul în care acestea gestionează stocarea și ciclul de viață. Vei învăța să creezi și să reîmprospătezi vizualizări persistente și vei aprofunda funcționalitățile Delta Lake: tranzacții ACID, aplicarea schemelor și călătoria în timp, pentru un management fiabil al datelor. Vei dobândi, de asemenea, o înțelegere mai profundă a mecanismelor de organizare și acces la date în Databricks.

Înțelegerea Delta Lake

Fiabilitatea datelor în Delta Lake

Asigurarea proprietăților ACID

Gestionarea datelor în Delta Lake

Optimizarea tabelelor

Persistența și domeniul de aplicabilitate al tabelelor

Tabele gestionate vs. negestionate

Confruntarea tabelelor

Ștergerea tabelelor

Crearea tabelelor negestionate

Introducere în Delta Lake

Acest capitol se concentrează pe crearea și gestionarea vizualizărilor și a vizualizărilor temporare în Databricks. Vei descoperi cum vizualizările persistente salvează logica interogărilor pentru reutilizare între sesiuni, în timp ce vizualizările temporare sunt potrivite pentru sarcini rapide, specifice unei singure sesiuni. Sunt evidențiate, de asemenea, scenarii practice în care fiecare tip poate îmbunătăți eficiența și simplifica gestionarea datelor.

Crearea și gestionarea tabelelor

Stocare personalizată făcută corect

Stocarea tabelelor

Mutarea tabelelor

Opțiuni

Gestionare a Datelor

Mișcare a Datelor

Gestionare sau mișcare?

Bune practici pentru gestionarea tabelelor mari

Curățarea datelor cu Vacuum

Vizualizări și vizualizări temporare

View

Temp View

Persistent sau temporar?

Explorând vizualizările

Persistență ca un profesionist

Vederi cu durată scurtă

Magia vizualizărilor persistente

Lucrul cu tabele în Databricks

În ultimul capitol, vei explora cum să folosești Data Explorer pentru a previzualiza, analiza și securiza seturi de date. Conținutul acoperă proprietatea asupra tabelelor, responsabilitățile aferente și cele mai bune practici de guvernanță. Vei aprofunda și gestionarea drepturilor de acces, precum și tratarea în siguranță a Informațiilor de Identificare Personală (PII), prin strategii orientate spre conformitate și exerciții practice.

Explorarea datelor cu Data Explorer

Parcursul în Data Explorer

Explorarea seturilor de date

Jurnale și securitate

Gestionarea accesului și înțelegerea PII

Protejarea datelor cu caracter personal (PII)

Protejarea numelor pacienților

Gestionarea permisiunilor

Felicitări!

Explorarea datelor și securitate

Ești pregătit să treci la nivelul următor în Databricks? În acest curs, vei stăpâni abilitățile de gestionare a datelor în Databricks, folosind funcționalitățile Delta Lake – tranzacții ACID, aplicarea schemelor și călătoria în timp – pentru un management solid al datelor. Vei învăța să creezi și să administrezi tabele și vizualizări temporare, simplificând astfel fluxurile de lucru. Apoi, vei explora Data Explorer din Databricks pentru a previzualiza seturi de date, a atribui proprietatea asupra tabelelor și a proteja datele sensibile cu practici de securitate de top. Indiferent că scrii interogări reutilizabile sau gestionezi Informații de Identificare Personală (PII), acest curs te acoperă cu exerciții practice și strategii concrete pentru a menține datele în siguranță, accesibile și optimizate pentru orice scenariu.

<h2>Construiește o bază solidă cu Delta Lake</h2>
Acest curs îți oferă abilitățile necesare pentru a gestiona eficient datele în Databricks, folosind instrumente precum Delta Lake și Data Explorer-ul Databricks. Vei explora concepte fundamentale precum tabelele gestionate și negestionate și modul în care acestea gestionează stocarea și ciclul de viață, în timp ce aprofundezi funcționalități avansate Delta Lake, precum tranzacțiile ACID, aplicarea schemei și time travel. Aceste tehnici asigură consistența și fiabilitatea datelor, punând bazele unor fluxuri de lucru solide pentru date.
<h2>Optimizează fluxurile de lucru cu Views și Temp Views</h2>
Vei învăța, de asemenea, să creezi și să gestionezi view-uri și view-uri temporare pentru a optimiza procesele de date. Vizualizările persistente vă permit să salvați logica de interogare pentru utilizare repetată între sesiuni, simplificând fluxurile de lucru și sporind eficiența. Vizualizările temporare, pe de altă parte, oferă o soluție ușoară pentru sarcini rapide, specifice sesiunii. Exemplele practice demonstrează cum fiecare poate fi aplicat pentru a îmbunătăți accesibilitatea și organizarea datelor, făcându-le instrumente de neprețuit pentru crearea unor soluții eficiente și flexibile.
<h2>Asigură-ți și guvernează-ți datele cu încredere</h2>
În cele din urmă, vei folosi Databricks’ Data Explorer pentru a previzualiza, analiza și securiza seturile de date. De la atribuirea proprietății tabelelor până la gestionarea drepturilor de acces, vei dobândi o înțelegere cuprinzătoare a celor mai bune practici de guvernanță. Se pune un accent deosebit pe gestionarea în siguranță a Informațiilor cu Caracter Personal (PII), prin strategii axate pe conformitate. Prin exerciții practice, vei dobândi expertiza necesară pentru a menține seturi de date securizate și optimizate, asigurându-te că datele tale rămân accesibile, bine gestionate și protejate în orice scenariu.

Introduction to Databricks

Gestionarea datelor în Databricks cu Delta Lake: tranzacții ACID, aplicarea schemelor și securitate avansată.

Gestionarea datelor în Databricks

Învață gestionarea datelor în Databricks cu Delta Lake, inclusiv tranzacții ACID, aplicarea schemei și securitate.

Inginer de date asociat în Databricks

Analist de date în Databricks

Stocat în baza de date și persistent între sesiuni

Ideal pentru interogări reutilizabile, necesare în mod frecvent

Necesită o acțiune explicită pentru a fi șters

Potrivit pentru analize rapide, ad-hoc, în cadrul unei singure sesiuni

Folosit pentru stocarea temporară a datelor intermediare într-un pipeline

Persistent sau temporar?

Gestionarea datelor în Databricks

Exercițiu interactiv practic