Odkryj, czym lakehouse różni się od tradycyjnych architektur, jak wzorzec medalionowy organizuje dane i co gdzie znajduje się na platformie Databricks.

Dlaczego lakehouse?

Odkryj funkcje niezawodności lakehouse

Lakehouse a hurtownia danych — kompromisy

Architektura medalionowa

Eksploracja warstw architektury medallion

Opcje

Bronze (surowe)

Silver (zwalidowane)

Gold (gotowe do użycia)

Dopasuj zadania do warstw architektury medalionowej

Architektura platformy

Płaszczyzna sterowania (Databricks)

Płaszczyzna danych (twoja chmura)

Płaszczyzna sterowania a płaszczyzna danych

Gdzie są przechowywane dzienniki audytu?

Paradygmat Lakehouse

Uruchom odpowiedni klaster do zadania, skonfiguruj go pod kątem kosztów i wydajności, opanuj środowisko notebooków i połącz swoją pracę z Gitem — wszystko w obrębie przestrzeni roboczej Databricks.

Typy klastrów i środowiska uruchomieniowe

Tworzenie i konfigurowanie klastra

Klaster ogólnego przeznaczenia czy klaster zadań?

Zarządzanie klastrami i ich konfiguracja

Zarządzanie klastrem i jego konfiguracja

Scenariusze zarządzania klastrem

Podstawy notebooków

Utwórz notatnik wielojęzykowy

Wybór właściwej komendy magic

Współpraca i kontrola wersji

Poznaj historię wersji notatnika

Repos a wersjonowanie notesu

Klastry i notebooki

Zabezpiecz dane za pomocą Unity Catalog, udostępniaj je bezpiecznie dzięki Delta Sharing i wykonuj zapytania federacyjne do zewnętrznych źródeł — bez kopiowania ani jednego bajtu.

Unity Catalog i śledzenie pochodzenia danych

Hierarchia Unity Catalog

Przeglądanie metadanych tabeli w Unity Catalog

Podstawy Delta Sharing

Tworzenie udziału Delta Share

Dodaj tabelę do udziału Delta Share

Delta Sharing: typy i kompromisy

Udostępnianie natywne a otwarty protokół

Koszty udostępniania danych między chmurami

Lakehouse Federation

Kiedy stosować Lakehouse Federation

Konfigurowanie połączenia federacyjnego

Zarządzanie danymi i udostępnianie

Spakuj swoją pracę za pomocą Databricks Asset Bundles, wdróż ją na produkcję i połącz wszystko w praktycznym scenariuszu końcowym.

Od wdrożenia ręcznego do automatycznego

Analiza struktury projektu DAB

DAB a tradycyjne wdrożenie

Struktura Asset Bundle

Sprawdzanie i modyfikowanie pakietu Asset Bundle

Prześledź zadanie od konfiguracji do kodu

Wszystko razem

Kompleksowy przepływ pracy w lakehouse

Bezpieczeństwo, koszty i zarządzanie — jak zachować równowagę

Gratulacje!

Wdrożenie i kolejne kroki

Chcesz pracować z nowoczesną platformą danych łączącą zalety jezior i hurtowni danych? W tym kursie poznasz Databricks Lakehouse od podstaw. Dowiesz się, jak architektura medalionowa porządkuje surowe dane w wiarygodne wyniki, jak uruchamiać i konfigurować klastry oraz jak tworzyć wielojęzyczne notebooki połączone z Gitem. Następnie zajmiesz się zarządzaniem danymi w Unity Catalog, bezpiecznym udostępnianiem danych za pomocą Delta Sharing i wdrażaniem pracy na produkcję za pomocą Asset Bundles. Po ukończeniu kursu będziesz swobodnie poruszać się po platformie Databricks i rozumieć, jak jej kluczowe elementy współdziałają ze sobą.

Data lake’i oferują elastyczność, ale brakuje im niezawodności. Magazyny danych zapewniają wydajność, ale nie radzą sobie z danymi nieustrukturyzowanymi. Lakehouse łączy oba podejścia — a Databricks to miejsce, w którym wszystko się łączy. W tym kursie poznasz Databricks Lakehouse od podstaw, zdobywając praktyczne doświadczenie z kluczowymi komponentami platformy.
<br><br>
<h2>Zrozum architekturę Lakehouse</h2>
Zacznij od odkrycia, co wyróżnia lakehouse na tle tradycyjnych podejść. Poznasz architekturę medallion — warstwy bronze, silver i gold — która przekształca surowe, chaotyczne dane w czyste, gotowe do wykorzystania w biznesie analizy. Następnie poznasz środowisko Databricks Workspace, aby zrozumieć, jak katalogi, schematy i wolumeny porządkują wszystko.
<br><br>
<h2>Opanuj Compute i Notatniki</h2>
Naucz się wybierać odpowiedni klaster do zadania, konfigurować autoskalowanie i automatyczne zakończenie pracy, aby kontrolować koszty, oraz tworzyć notatniki łączące Python, SQL i Markdown. Połączysz też swoją pracę z Git za pomocą Databricks Repos, aby zapewnić kontrolę wersji i współpracę zespołową.
<br><br>
<h2>Zarządzaj danymi i udostępniaj je bezpiecznie</h2>
Poznaj Unity Catalog, aby zarządzać kontrolą dostępu i śledzić pochodzenie danych w całej swojej organizacji. Następnie użyj Delta Sharing, aby udostępniać dane partnerom — w Databricks lub na dowolnej innej platformie — i odpytywać zewnętrzne źródła za pomocą Lakehouse Federation, bez kopiowania choćby jednego bajta.
<br><br>
<h2>Wdrażanie do produkcji z Asset Bundles</h2>
Na zakończenie spakuj swoje notebooki, potoki i zadania w Databricks Asset Bundles, aby zapewnić powtarzalne, zautomatyzowane wdrożenia. Scenariusz końcowy łączy wszystko w całość, dzięki czemu kończysz kurs gotowy do zastosowania tych umiejętności w pracy.

Introduction to Databricks

Poznaj Databricks Lakehouse: architektura medaliowa, klastry, Unity Catalog, Delta Sharing, Asset Bundle.

Wprowadzenie do Databricks Lakehouse

Poznaj Databricks Lakehouse — od architektury medallion i klastrów po governance, udostępnianie i wdrażanie.

Poznaj Databricks Lakehouse — od architektury medallion i klastrów po zarządzanie, udostępnianie i wdrażanie.

Młodszy Inżynier Danych w Databricks

Ingestion surowego strumienia zdarzeń Kafka

Wczytanie zrzutu pliku CSV z zewnętrznego systemu

Rzutowanie kolumn tekstowych na właściwe typy timestamp i decimal

Wstępne obliczenie dziennych podsumowań przejazdów na potrzeby dashboardu

Generowanie tygodniowego raportu KPI dla kierownictwa

Dopasuj zadania do warstw architektury medalionowej

Wprowadzenie do Databricks Lakehouse

Interaktywne ćwiczenie praktyczne