Tìm hiểu lý do ra đời của dbt và cách nó được dùng để tạo các dự án chuyển đổi dữ liệu.

Nền tảng của dbt

Chạy lệnh dbt

Giới thiệu về dbt

Phiên bản của dbt

Tìm trợ giúp

Những ai dùng dbt

Tạo một dự án dbt

Khởi tạo một dự án dbt

Tạo hồ sơ dự án

Chào mừng đến với dbt

Đi sâu vào cốt lõi của dbt bằng cách làm việc với các mô hình dữ liệu và tạo mô hình dựa trên SQL trong dbt. Tìm hiểu về các mô hình SQL cơ bản, xác định quan hệ phụ thuộc, cập nhật và khắc phục nhiều vấn đề của mô hình.

Làm việc với dự án đầu tiên

Các bước của một quy trình dbt

Quy trình làm việc của dự án dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Chạy một project

dbt model là gì?

Tùy chọn

Đúng với một mô hình dữ liệu

Sai với một mô hình dữ liệu

Đặc điểm của một mô hình dữ liệu


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Tạo một dbt model

Cập nhật các mô hình dbt

Dự án

Chỉ model

Tệp cấu hình


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Cập nhật một dbt model

Các dự án và mô hình trong dbt

Học cách dùng mẫu Jinja để đơn giản hóa các mô hình dbt và xác định quan hệ phụ thuộc phân cấp với hàm `ref` để đảm bảo mô hình chạy đúng.

Tạo và sinh tài liệu dbt

Tùy chọn lệnh dbt docs

Quy trình tài liệu dbt

Tạo tài liệu cho dbt

Mẫu Jinja

Jinja làm được gì?

Xử lý một mẫu Jinja

Mô hình phân cấp trong dbt

Tạo model theo phân cấp

Cập nhật hệ phân cấp của model

Tìm hiểu thêm về mô hình dbt

Khóa học này giới thiệu bạn với dbt (data build tool), một công cụ phổ biến đã thúc đẩy lĩnh vực kỹ sư phân tích để tạo và duy trì các pipeline extract, transform, and load (ELT). Bạn sẽ học cách xây dựng kho dữ liệu, thực hiện mô hình hóa và chuyển đổi dữ liệu, và thiết kế các bài kiểm tra để xác thực dữ liệu. Bạn sẽ dùng SQL và các lệnh shell để thực hiện nhiều tác vụ với dbt, đồng thời khám phá cách tạo tài liệu cho người dùng kho dữ liệu của bạn!

dbt, hay còn gọi là data build tool, đã tạo nên một làn sóng lớn trong lĩnh vực dữ liệu. Khóa học này sẽ giới thiệu cho bạn các khái niệm, thuật ngữ và phương pháp sử dụng dbt để triển khai một kho dữ liệu mẫu. Bạn sẽ hiểu dbt là gì, khi nào nên sử dụng và các phương pháp luyện tập tốt nhất khi triển khai kho dữ liệu. Bạn sẽ làm việc với các bộ dữ liệu thực tế và thực hiện các thao tác trích xuất, tải và chuyển đổi dữ liệu như trong vai trò của data analyst, data engineering và analytics engineering.

Người học sẽ phát triển kỹ năng xây dựng kho dữ liệu từ đầu, mô hình hóa và chuyển đổi dữ liệu, cũng như tạo các bài kiểm thử! Khóa học này sẽ cung cấp cho bạn một nền tảng vững chắc để phát triển trong hành trình dbt của bạn, bất kể loại kho dữ liệu mà bạn dự định triển khai. Hãy tự tin sử dụng dbt đúng cách và đúng lúc thông qua các bài tập thực hành với SQL và lệnh shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Khóa học này giới thiệu dbt cho mô hình hóa dữ liệu, chuyển đổi, kiểm thử và xây dựng tài liệu.

Khóa học này giới thiệu dbt cho việc mô hình hóa dữ liệu, chuyển đổi, kiểm thử và xây dựng tài liệu.

Cơ bản về dbt

Kỹ sư dữ liệu chuyên nghiệp trong Python

Tạo điểm đến dữ liệu trong tệp `profiles.yml`

Xác minh nội dung trong data warehouse

Quy trình làm việc của dự án dbt

Giới thiệu về dbt

Bài tập tương tác thực hành