처음부터 dbt 프로젝트를 구축하는 연습을 해 보세요. 다양한 유형의 데이터를 dbt 프로젝트에 로딩하고 여러 가지 스테이징 dbt 모델을 설정하는 능력을 적용해 봅니다. 이 장은 ELT 프로세스 중 E와 L에 초점을 맞춥니다.

dbt 케이스 스터디 소개

dbt 설치 점검

dbt 프로젝트 초기화하기

dbt 프로젝트 설정 및 데이터 로딩

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

dbt 시드 파일로 물류센터 로드하기

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


디스트리뷰션 센터 스테이징 모델 생성

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

dbt source로 사용자 모델 로드 및 생성

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


dbt 소스와 스테이징 모델 추가 연습

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

일반적인 오류 디버깅

dbt 설정하기

dbt 데이터 모델링을 깊이 있게 파고듭니다. 초기 스테이징 모델부터 핵심 비즈니스 요구에 답하는 최종 데이터 마트 모델까지 데이터 파이프라인을 구축해 보세요. 이 과정에서 데이터 품질 저하를 방지하기 위한 데이터 테스트 작성도 함께 연습합니다.

dbt 설명과 테스트 만들기

dbt 컬럼 설명 추가하기

dbt 컬럼 테스트 추가

dbt 데이터 마트와 스냅샷 모델 구축하기

dbt 모델 계층 구조 다시 보기

고객용 마트 모델 생성

제품용 마트 모델 만들기

더 많은 오류 디버깅하기

dbt 스냅샷 모델 만들기

dbt 모델 구축하기

Jinja를 활용해 코드를 간소화하고 중복을 줄이며 유지 보수성을 높여 dbt 프로젝트를 강화하는 방법을 배웁니다. 변수, 반복문, 매크로를 사용해 더 효율적인 변환 워크플로를 구축하는 실습을 진행합니다.

dbt와 함께 Jinja 소개

dbt compile로 몸 풀기

dbt compile로 워밍업 2

dbt compile로 디버깅하기

dbt Jinja로 변수 설정하기

dbt Jinja 2로 변수 설정하기

dbt에서 jinja의 고급 활용

반복되는 SQL에 Jinja for 루프 사용 1

Jinja로 반복되는 SQL에 for 루프 적용하기 2

Jinja 매크로 사용하기

Jinja로 공백 다듬기

요약: dbt 사례 연구

Jinja로 dbt 개선하기

핸즈온 dbt(Data Build Tool) 사례 연구 과정으로 데이터 변환의 힘을 직접 경험해 보세요. dbt를 처음 접하는 분들을 위해 설계된 이 강의는 실제 현업과 유사한 실습에 초점을 맞추어, 핵심 dbt 명령을 사용해 구축하고 변환하며 다듬는 과정을 여러 번 반복해 볼 수 있도록 합니다. 실습을 통해 dbt 환경 설정부터 중요한 비즈니스 과제를 해결하는 고급 모델 생성까지 전 과정을 자신 있게 수행할 수 있게 됩니다. 대화형 연습 문제를 풀며, 실제 데이터 ETL 파이프라인 프로젝트를 자신 있게 처리하는 데 필요한 실전 경험을 쌓게 될 거예요.

dbt(Data Build Tool)를 사용하여 원시 데이터를 깨끗하고 신뢰할 수 있는 모델로 변환하세요 - 전 세계 데이터 팀이 사용하는 현대적인 SQL 기반 변환 프레임워크입니다. 이 실습 중심의 사례 연구 강의는 안내에 따라 진행되는 실용적인 연습을 통해 실제 업무에 필요한 역량을 쌓고자 하는 초급 학습자를 위해 설계되었습니다. 자신만의 dbt 환경을 설정하고, 대규모로 데이터를 모델링하며, dbt의 내장 특성을 활용해 재사용 가능한 코드를 작성하게 됩니다.<br><br><h2>프로젝트를 설정하고 데이터를 살펴보세요</h2>dbt 프로젝트를 설정하고 실제 전자상거래 데이터세트로 작업하며 시작해 보세요. 원시 데이터를 구조화하고, 프로필을 구성하며, 각 변환 단계 뒤에 있는 비즈니스 맥락을 이해하면서 구문 문제를 디버깅하게 됩니다.<br><br><h2>모델 구축 및 검증</h2>확장 가능한 스테이징 모델을 만들고 데이터 품질 검사를 적용하여 데이터세트가 정확하고 분석 준비가 되도록 하는 방법을 배워보세요. 핵심 비즈니스 질문에 답하는 탄탄한 기초를 다지게 됩니다.<br><br><h2>Jinja로 자동화하기</h2>Jinja를 사용해 재사용 가능하고 유지보수하기 쉬운 코드를 작성하는 방법을 배워 강의를 마무리하세요. 변수, 제어 흐름, 반복문을 사용해 DRY(Don't Repeat Yourself) 원칙을 따르며 dbt 워크플로를 간소화하는 방법을 배우게 됩니다.

Data Manipulation in SQL

Intermediate dbt

dbt를 통해 실습을 통해 원시 데이터를 신뢰할 수 있는 모델로 변환하는 방법을 배워보세요.

사례 연구: dbt로 전자상거래 데이터 모델 구축

실습을 통한 실제 사례를 통해 dbt로 원시 데이터를 깨끗하고 신뢰할 수 있는 모델로 변환하는 방법을 배워보세요. 

dbt 설치 점검

사례 연구: dbt로 전자상거래 데이터 모델 구축

실습형 인터랙티브 연습문제