레이크하우스가 기존 아키텍처와 어떻게 다른지, 메달리온 패턴이 데이터를 어떻게 정리하는지, 그리고 Databricks 플랫폼 내에서 각 요소가 어디에 위치하는지 알아봅니다.

레이크하우스란 무엇인가요?

레이크하우스의 안정성 기능 살펴보기

레이크하우스 vs. 웨어하우스: 장단점 비교

메달리온 아키텍처

메달리온 레이어 탐색하기

워크로드를 메달리온 레이어에 매칭하기

플랫폼 아키텍처

컨트롤 플레인 vs. 데이터 플레인

감사 로그는 어디에 저장되나요?

레이크하우스 패러다임

작업에 적합한 클러스터를 실행하고, 비용과 성능을 고려해 구성하며, 노트북 환경을 능숙하게 다루고, Git에 연결하는 방법까지 모두 Databricks 워크스페이스 안에서 배웁니다.

클러스터 유형과 런타임

클러스터 생성 및 구성

All-purpose 클러스터인가요, Jobs 클러스터인가요?

클러스터 관리 및 구성

클러스터 관리 시나리오

노트북 기초

멀티 언어 노트북 만들기

올바른 매직 커맨드 선택하기

협업과 버전 관리

노트북 버전 기록 살펴보기

Repos vs. 노트북 버전 관리

컴퓨팅과 노트북

Unity Catalog로 데이터를 안전하게 보호하고, Delta Sharing으로 외부와 안전하게 공유하며, 데이터를 한 바이트도 복사하지 않고 외부 소스에 쿼리를 분산 실행하는 방법을 배웁니다.

Unity Catalog과 데이터 계보

Unity Catalog 계층 구조

Unity Catalog에서 테이블 메타데이터 탐색하기

Delta Sharing 기초

Delta Share 만들기

Delta Share에 테이블 추가하기

Delta Sharing: 유형과 트레이드오프

네이티브 공유 vs. 오픈 프로토콜 공유

클라우드 간 공유 비용

Lakehouse Federation

옵션

레이크하우스로 수집

페더레이션(현재 위치에서 쿼리)

Lakehouse Federation을 언제 사용할까요?

Federation 설정 단계

페더레이션 연결 설정하기

거버넌스와 공유

Databricks Asset Bundle로 작업물을 패키징하고 프로덕션에 배포하며, 캡스톤 시나리오를 통해 전체 내용을 종합적으로 마무리합니다.

수동 배포에서 자동화 배포로

DAB 프로젝트 구조 살펴보기

DAB와 전통적인 배포 방식 비교

Asset Bundle 살펴보기

Asset Bundle 검토 및 수정

구성 파일에서 코드까지 작업 흐름 추적하기

모든 것을 하나로

엔드투엔드 레이크하우스 워크플로

보안, 비용, 거버넌스의 균형 잡기

수고하셨습니다!

배포와 다음 단계

데이터 레이크와 데이터 웨어하우스의 장점을 결합한 최신 데이터 플랫폼을 경험해 보세요. 이 과정에서는 Databricks Lakehouse를 처음부터 차근차근 살펴봅니다. 메달리온 아키텍처가 원시 데이터를 신뢰할 수 있는 인사이트로 정리하는 방법을 배우고, 클러스터를 설정 및 구성하며, Git에 연결된 다중 언어 노트북을 구축합니다. 이어서 Unity Catalog로 거버넌스를 적용하고, Delta Sharing으로 데이터를 안전하게 공유하며, Asset Bundle로 작업물을 프로덕션에 배포하는 방법까지 다룹니다. 과정을 마치면 Databricks 플랫폼을 자신 있게 활용하고, 핵심 구성 요소가 어떻게 연결되는지 명확하게 이해할 수 있습니다.

Introduction to Databricks

Databricks Lakehouse 실습: 메달리온 아키텍처, 클러스터, Unity Catalog, Delta Sharing, 자산 번들 배포.

Databricks Lakehouse 입문

Databricks Lakehouse를 살펴보세요 - 메달리온 아키텍처와 클러스터부터 거버넌스, 공유, 배포까지.

Delta Sharing: 유형과 트레이드오프

Create Your Free Account