dbt가 왜 존재하는지, 그리고 데이터 변환 프로젝트를 만드는 데 어떻게 활용되는지 알아봅니다.

dbt의 기초

dbt 명령 실행하기

dbt 소개

dbt의 버전

도움말 확인하기

dbt 사용자

dbt 프로젝트 만들기

dbt 프로젝트 초기화하기

프로젝트 프로파일 생성

dbt에 오신 것을 환영합니다

dbt의 핵심을 파고들어 데이터 모델을 다루고, dbt 내에서 SQL 기반 모델을 만들어 봅니다. 기본 SQL 모델을 학습하고, 의존성을 정의하며, 업데이트하고, 다양한 모델 문제를 해결하는 방법을 배웁니다.

첫 번째 프로젝트 다뤄보기

dbt 워크플로 단계

dbt 프로젝트 워크플로

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


프로젝트 실행하기

dbt 모델이란 무엇인가요?

옵션

데이터 모델에 대한 참

데이터 모델에 대한 거짓

데이터 모델의 특징


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

dbt 모델 만들기

dbt 모델 업데이트하기

프로젝트

모델 전용

구성 파일


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


dbt 프로젝트와 모델

Jinja 템플릿을 사용해 dbt 모델을 간소화하고, `ref` 함수를 통해 계층적 의존성을 정의하여 올바른 모델 실행을 보장하는 방법을 학습합니다.

dbt 문서 생성 및 빌드

dbt docs 명령 옵션

dbt 문서화 흐름

dbt 문서 생성하기

Jinja 템플릿

Jinja로 무엇을 할 수 있나요?

Jinja 템플릿 처리하기

dbt의 계층형 모델

계층형 모델 생성

모델 계층 업데이트하기

dbt 모델 더 알아보기

이 과정은 dbt(data build tool)를 소개합니다. dbt는 ELT(추출, 변환, 적재) 파이프라인의 구축과 유지 관리를 위해 널리 쓰이며, Analytics Engineering의 부상을 이끈 도구입니다. 이 과정을 통해 데이터 웨어하우스를 구축하고, 데이터 모델링과 변환을 수행하며, 데이터 검증을 위한 테스트를 설계하는 방법을 배웁니다. 또한 SQL과 셸 명령을 사용해 dbt로 다양한 작업을 수행하고, 웨어하우스 사용자에게 제공할 문서를 생성하는 방법도 익히게 됩니다!

dbt(데이터 빌드 툴)은 데이터 세계를 강타했다. 이 과정은 dbt를 사용하여 예제 데이터 웨어하우스를 구현하는 개념, 용어 및 방법을 소개합니다. 데이터 웨어하우징 구현 시 DBT가 무엇인지, 언제 사용해야 하는지, 그리고 모범 사례에 대한 이해를 얻을 수 있습니다. 실제 데이터셋을 활용하여 데이터 분석가, 데이터 엔지니어링, 애널리틱스 엔지니어링 역할에서 구현되는 추출(Extract), 로드(Load), 변환(Transform) 작업을 수행하게 됩니다.

학습자들은 데이터 웨어하우스를 처음부터 정의하고, 데이터를 모델링 및 변환하며, 테스트를 구축하는 기술을 습득하게 됩니다! 이 과정은 구현하려는 데이터 웨어하우스 유형에 관계없이 DBT 여정에서 구축할 수 있는 탄탄한 기반을 제공할 것입니다. SQL 및 셸 명령어를 활용한 연습을 통해 dbt의 사용 방법과 시기에 대한 자신감을 얻으세요.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

이 과정은 데이터 모델링, 변환, 테스트 및 문서 작성을 위한 dbt를 소개합니다.

dbt 입문

이 과정은 데이터 모델링, 변환, 테스트 및 문서 생성을 위한 DBT를 소개합니다.

dbt 기초

전문 데이터 엔지니어 in Python

`profiles.yml` 파일에서 데이터 대상 구성

dbt 프로젝트 워크플로

dbt 입문

실습형 인터랙티브 연습문제