Ten rozdział omawia zarządzanie tabelami w Databricks, ze szczególnym uwzględnieniem różnic między tabelami zarządzanymi i niezarządzanymi oraz sposobu, w jaki obsługują one przechowywanie danych i ich cykl życia. Dowiesz się, jak tworzyć i odświeżać trwałe widoki, oraz poznasz funkcje Delta Lake, takie jak transakcje ACID, wymuszanie schematu i cofanie się w czasie – kluczowe dla niezawodnego zarządzania danymi. Przyjrzysz się też bliżej mechanizmom organizacji danych i dostępu do nich w Databricks.

Wprowadzenie do Delta Lake

Niezawodność danych w Delta Lake

Zapewnianie właściwości ACID

Zarządzanie danymi w Delta Lake

Optymalizacja tabel

Trwałość i zakres tabel

Tabele zarządzane i niezarządzane

Pojedynek tabel

Usuwanie tabel

Tworzenie tabel niezarządzanych

Ten rozdział poświęcony jest tworzeniu widoków i tymczasowych widoków w Databricks oraz zarządzaniu nimi. Poznasz, jak trwałe widoki zapisują logikę zapytań do ponownego użycia w różnych sesjach, a tymczasowe widoki sprawdzają się w szybkich zadaniach ograniczonych do jednej sesji. Omówimy też praktyczne scenariusze, w których każdy z tych typów pomaga zwiększyć efektywność i uprościć obsługę danych.

Tworzenie tabel i zarządzanie nimi

Niestandardowe przechowywanie danych – jak to zrobić dobrze

Przechowywanie tabel

Przenoszenie tabel

Opcje

Data Management

Data Movement

Zarządzanie czy przenoszenie?

Najlepsze praktyki zarządzania dużymi tabelami

Czyszczenie danych poleceniem Vacuum

Widoki i widoki tymczasowe

View

Temp View

Trwały czy tymczasowy?

Przegląd widoków

Widoki persystentne w praktyce

Widoki krótkotrwałe

Widoki trwałe w praktyce

Praca z tabelami w Databricks

W ostatnim rozdziale dowiesz się, jak korzystać z narzędzia Data Explorer do podglądu, analizy i zabezpieczania zbiorów danych. Omówimy własność tabel, związane z nią obowiązki oraz najlepsze praktyki w zakresie zarządzania danymi. Przyjrzymy się także zarządzaniu prawami dostępu i bezpiecznemu przetwarzaniu danych osobowych (PII) – z uwzględnieniem strategii zgodności z przepisami i praktycznych ćwiczeń.

Eksploracja danych z Data Explorer

Ścieżka Data Explorer

Eksplorowanie zbiorów danych

Logi i bezpieczeństwo

Zarządzanie dostępem i dane osobowe (PII)

Ochrona danych osobowych (PII)

Ochrona danych osobowych pacjentów

Zarządzanie uprawnieniami

Gratulacje!

Eksploracja danych i bezpieczeństwo

Chcesz podnieść swoje umiejętności w Databricks? W tym kursie opanujesz zarządzanie danymi w Databricks, korzystając z funkcji Delta Lake, takich jak transakcje ACID, wymuszanie schematu i cofanie się w czasie – wszystko po to, by zapewnić niezawodne zarządzanie danymi. Nauczysz się tworzyć tabele i tymczasowe widoki oraz nimi zarządzać, co usprawni twoje przepływy pracy. Poznasz też narzędzie Data Explorer w Databricks – do podglądu zbiorów danych, przypisywania własności tabel i ochrony wrażliwych informacji zgodnie z najlepszymi praktykami bezpieczeństwa. Kurs obejmuje zarówno tworzenie zapytań wielokrotnego użytku, jak i zarządzanie danymi osobowymi (PII) – dzięki praktycznym ćwiczeniom i sprawdzonym strategiom twoje dane będą bezpieczne, dostępne i zoptymalizowane na każdą sytuację.

<h2>Zbuduj solidne podstawy z Delta Lake</h2>
Ten kurs wyposaża Cię w umiejętności skutecznego zarządzania danymi w Databricks, wykorzystując narzędzia takie jak Delta Lake i Data Explorer Databricks. Poznasz podstawowe pojęcia, takie jak tabele zarządzane i niezarządzane oraz sposób, w jaki obsługują przechowywanie i cykl życia danych, a także zagłębisz się w zaawansowane funkcje Delta Lake, takie jak transakcje ACID, wymuszanie schematu i time travel. Techniki te zapewniają spójność i niezawodność danych, tworząc solidne podstawy dla wydajnych procesów pracy z danymi.
<h2>Optymalizuj przepływy pracy za pomocą widoków i widoków tymczasowych</h2>
Nauczysz się także tworzyć i zarządzać widokami oraz widokami tymczasowymi, aby optymalizować procesy danych. Trwałe widoki pozwalają zapisywać logikę zapytań do wielokrotnego użycia między sesjami, usprawniając przepływy pracy i zwiększając efektywność. Widoki tymczasowe z kolei stanowią lekkie rozwiązanie do szybkich zadań specyficznych dla sesji. Praktyczne przykłady pokazują, jak każde z nich można zastosować, aby zwiększyć dostępność i organizację danych, czyniąc je nieocenionymi narzędziami do tworzenia wydajnych i elastycznych rozwiązań.
<h2>Zabezpiecz i zarządzaj swoimi danymi z pewnością</h2>
Wreszcie wykorzystasz Data Explorer firmy Databricks do podglądu, analizy i zabezpieczania zbiorów danych. Od przypisywania właściciela tabeli po zarządzanie prawami dostępu zdobędziesz kompleksowe zrozumienie najlepszych praktyk w zakresie zarządzania. Szczególny nacisk położono na bezpieczne obchodzenie się z danymi osobowymi (PII) z wykorzystaniem strategii ukierunkowanych na zgodność z przepisami. Dzięki praktycznym ćwiczeniom zdobędziesz umiejętności potrzebne do utrzymywania bezpiecznych i zoptymalizowanych zbiorów danych, dzięki czemu Twoje dane pozostaną dostępne, dobrze zarządzane i chronione w każdej sytuacji.

Introduction to Databricks

Zarządzanie danymi w Databricks z Delta Lake: transakcje ACID, kontrola schematu, zaawansowane zabezpieczenia.

Zarządzanie danymi w Databricks

Poznaj zarządzanie danymi w Databricks z Delta Lake, w tym transakcje ACID, egzekwowanie schematu i bezpieczeństwo.

Młodszy Inżynier Danych w Databricks

Analityk danych w Databricks

Zoptymalizuj tabelę poleceniem `OPTIMIZE`, aby skompaktować dane i poprawić wydajność zapytań.

Usuń stare wersje poleceniem `VACUUM`, aby zwolnić miejsce na dysku.

Utwórz kopię zapasową danych poleceniem `COPY INTO`, aby przenieść je do bezpiecznego miejsca przechowywania.

Czyszczenie danych poleceniem Vacuum

Zarządzanie danymi w Databricks

Interaktywne ćwiczenie praktyczne