dbt가 왜 존재하는지, 그리고 데이터 변환 프로젝트를 만드는 데 어떻게 활용되는지 알아봅니다.

dbt의 기초

dbt 명령 실행하기

dbt 소개

dbt의 버전

도움말 확인하기

dbt 사용자

dbt 프로젝트 만들기

dbt 프로젝트 초기화하기

프로젝트 프로파일 생성

dbt에 오신 것을 환영합니다

dbt의 핵심을 파고들어 데이터 모델을 다루고, dbt 내에서 SQL 기반 모델을 만들어 봅니다. 기본 SQL 모델을 학습하고, 의존성을 정의하며, 업데이트하고, 다양한 모델 문제를 해결하는 방법을 배웁니다.

첫 번째 프로젝트 다뤄보기

dbt 프로젝트 워크플로

프로젝트 실행하기

dbt 모델이란 무엇인가요?

데이터 모델의 특징

dbt 모델 만들기

dbt 모델 업데이트하기

구성 파일

dbt 프로젝트와 모델

Jinja 템플릿을 사용해 dbt 모델을 간소화하고, `ref` 함수를 통해 계층적 의존성을 정의하여 올바른 모델 실행을 보장하는 방법을 학습합니다.

dbt 문서 생성 및 빌드

dbt docs 명령 옵션

dbt 문서화 프로세스

dbt 문서화 흐름

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


dbt 문서 생성하기

Jinja 템플릿

Jinja로 무엇을 할 수 있나요?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Jinja 템플릿 처리하기

dbt의 계층형 모델

모델 생성 순서

계층형 모델 생성


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


모델 계층 업데이트하기

dbt 모델 더 알아보기

이 과정은 dbt(data build tool)를 소개합니다. dbt는 ELT(추출, 변환, 적재) 파이프라인의 구축과 유지 관리를 위해 널리 쓰이며, Analytics Engineering의 부상을 이끈 도구입니다. 이 과정을 통해 데이터 웨어하우스를 구축하고, 데이터 모델링과 변환을 수행하며, 데이터 검증을 위한 테스트를 설계하는 방법을 배웁니다. 또한 SQL과 셸 명령을 사용해 dbt로 다양한 작업을 수행하고, 웨어하우스 사용자에게 제공할 문서를 생성하는 방법도 익히게 됩니다!

dbt(데이터 빌드 툴)은 데이터 세계를 강타했다. 이 과정은 dbt를 사용하여 예제 데이터 웨어하우스를 구현하는 개념, 용어 및 방법을 소개합니다. 데이터 웨어하우징 구현 시 DBT가 무엇인지, 언제 사용해야 하는지, 그리고 모범 사례에 대한 이해를 얻을 수 있습니다. 실제 데이터셋을 활용하여 데이터 분석가, 데이터 엔지니어링, 애널리틱스 엔지니어링 역할에서 구현되는 추출(Extract), 로드(Load), 변환(Transform) 작업을 수행하게 됩니다.

학습자들은 데이터 웨어하우스를 처음부터 정의하고, 데이터를 모델링 및 변환하며, 테스트를 구축하는 기술을 습득하게 됩니다! 이 과정은 구현하려는 데이터 웨어하우스 유형에 관계없이 DBT 여정에서 구축할 수 있는 탄탄한 기반을 제공할 것입니다. SQL 및 셸 명령어를 활용한 연습을 통해 dbt의 사용 방법과 시기에 대한 자신감을 얻으세요.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

이 과정은 데이터 모델링, 변환, 테스트 및 문서 작성을 위한 dbt를 소개합니다.

dbt 입문

이 과정은 데이터 모델링, 변환, 테스트 및 문서 생성을 위한 DBT를 소개합니다.

dbt 기초

전문 데이터 엔지니어 in Python

`dbt docs generate`로 문서 파일 생성

콘텐츠를 호스팅 서비스에 복사

dbt 문서화 흐름

dbt 입문

실습형 인터랙티브 연습문제