이 장에서는 Databricks의 테이블 관리를 살펴보며, 저장 방식과 라이프사이클 측면에서 관리형 테이블과 비관리형 테이블의 차이를 중점적으로 다룹니다. 지속 뷰를 생성하고 새로고침하는 방법을 배우고, 신뢰할 수 있는 데이터 관리를 위한 Delta Lake의 ACID 트랜잭션, 스키마 강제 적용, 타임 트래블 기능을 깊이 있게 이해하게 됩니다. 또한 Databricks 내 데이터 구성과 접근 방식의 동작 원리도 자세히 알아봅니다.

Delta Lake 이해하기

Delta Lake에서의 데이터 신뢰성

ACID 속성 보장하기

Delta Lake에서 데이터 관리하기

테이블 최적화

테이블의 지속성 및 범위

Managed 테이블 vs. Unmanaged 테이블

Table 대결

테이블 삭제하기

비관리 테이블 생성하기

Delta Lake 소개

이 장에서는 Databricks에서 뷰와 임시 뷰를 생성하고 관리하는 방법을 다룹니다. 세션 간 재사용을 위해 쿼리 로직을 저장하는 지속 뷰와, 빠르고 세션 한정 작업에 적합한 임시 뷰의 용도를 비교해 살펴봅니다. 더불어 각 유형이 어떤 실무 시나리오에서 효율을 높이고 데이터 처리를 간소화하는지 구체적으로 설명합니다.

테이블 생성과 관리

제대로 하는 사용자 지정 스토리지

테이블 저장소

테이블 이동하기

Options

Data Management

Data Movement

Management or movement?

대용량 테이블 관리 모범 사례

데이터 진공 청소(Vacuum)

뷰와 임시 뷰

View

Temp View

영구적인가요, 일시적인가요?

뷰로 살펴보기 실행

프로처럼 지속적으로 관리하기

짧게 유지되는 뷰

영구 뷰의 마법

Databricks에서 테이블 다루기

마지막 장에서는 Data Explorer를 활용해 데이터셋을 미리 보고, 분석하고, 안전하게 보호하는 방법을 배우게 됩니다. 테이블 소유권과 역할, 거버넌스 모범 사례를 다루며, 접근 권한을 관리하고 개인 식별 정보(PII)를 규정 준수 관점에서 안전하게 처리하는 전략을 실습과 함께 익힙니다.

Data Explorer로 데이터 탐색

Data Explorer 진행 경로

데이터셋 탐색하기

로그와 보안

액세스 관리와 PII 이해

PII 보호

환자 이름 보호하기

권한 관리

축하합니다!

데이터 탐색과 보안

Databricks 실력을 한 단계 끌어올릴 준비가 되셨나요? 이 강의에서는 Delta Lake의 ACID 트랜잭션, 스키마 강제 적용, 타임 트래블 같은 기능을 활용해 견고한 데이터 관리를 익히게 됩니다. 워크플로를 간소화할 수 있도록 테이블과 임시 뷰를 생성하고 관리하는 방법을 다룹니다. 이어서 Databricks의 Data Explorer를 사용해 데이터셋을 미리 보고, 테이블 소유권을 지정하며, 최고의 보안 모범 사례로 민감한 데이터를 보호하는 방법을 살펴봅니다. 재사용 가능한 쿼리를 만들 때든, 개인 식별 정보(PII)를 관리할 때든, 이 강의는 실습과 실전 전략을 통해 어떤 상황에서도 데이터를 안전하고 접근 가능하며 최적화된 상태로 유지하도록 도와드립니다.

<h2>Delta Lake로 탄탄한 기초를 다지세요</h2>
이 강의는 Delta Lake와 Databricks의 Data Explorer 같은 도구를 활용해 Databricks에서 데이터를 효과적으로 관리할 수 있는 역량을 갖추게 해줍니다. 관리형 및 비관리형 테이블과 같은 기초 개념을 살펴보고, 이들이 저장과 수명 주기를 어떻게 처리하는지 알아보는 한편, ACID 트랜잭션, 스키마 강제 적용, 타임 트래블 같은 고급 Delta Lake 기능도 깊이 있게 다룹니다. 이러한 기법은 데이터의 일관성과 신뢰성을 보장하며, 견고한 데이터 워크플로의 기반을 마련합니다.
<h2>뷰와 임시 뷰로 워크플로 최적화하기</h2>
또한 데이터 프로세스를 최적화하기 위해 뷰와 임시 뷰를 생성하고 관리하는 방법도 배우게 됩니다. 지속형 뷰를 사용하면 세션 전반에서 반복적으로 사용할 쿼리 로직을 저장할 수 있어 워크플로를 간소화하고 효율성을 높일 수 있습니다. 반면 임시 뷰는 빠르고 세션별 작업을 위한 가벼운 솔루션을 제공합니다. 실용적인 예시는 각 도구를 어떻게 활용해 데이터 접근성과 구성을 향상시킬 수 있는지 보여주며, 효율적이고 유연한 솔루션을 만드는 데 없어서는 안 될 도구로 만들어 줍니다.
<h2>자신 있게 데이터를 보호하고 관리하세요</h2>
마지막으로, Databricks의 Data Explorer를 활용해 데이터 세트를 미리 보고, 분석하고, 보호하는 방법을 익히게 됩니다. 테이블 소유권 할당부터 액세스 권한 관리까지, 거버넌스 모범 사례에 대한 포괄적인 이해를 얻을 수 있습니다. 개인 식별 정보(PII)를 규정 준수 중심의 전략으로 안전하게 처리하는 데 특히 중점을 둡니다. 실습 중심의 연습을 통해 보안이 강화되고 최적화된 데이터 세트를 유지하는 전문성을 갖추게 되며, 어떤 상황에서도 데이터가 접근 가능하고 체계적으로 관리되며 보호되도록 할 수 있습니다.

Introduction to Databricks

Delta Lake의 마스터 데이터 관리: ACID 트랜잭션, 스키마 적용, 고급 보안 기능 포함.

Databricks에서의 데이터 관리

Databricks에서 Delta Lake로 데이터 관리 학습: ACID 트랜잭션, 스키마 강제, 보안까지 다룹니다.

주니어 데이터 엔지니어 Databricks에서

데이터 분석가 Databricks에서

Command: CREATE DATABASE healthcare_data  
Use Case: 관련된 테이블을 하나의 네임스페이스로 묶어 정리할 새 데이터베이스를 생성해요.  

Command: DROP DATABASE healthcare_data  
Use Case: 기존 데이터베이스를 삭제하여 연결된 모든 객체를 제거해요. 

Command: ALTER TABLE patients_data SET SCHEMA archived_data  
Use Case: 데이터와 메타데이터를 유지한 채 테이블을 다른 스키마로 이동해요.  

Command: INSERT INTO archived_data SELECT * FROM healthcare_data.patients_data  
Use Case: 보관 목적을 위해 한 데이터베이스에서 다른 데이터베이스로 데이터를 복사해요.  

Management or movement?

Databricks에서의 데이터 관리

실습형 인터랙티브 연습문제