Thực hành xây dựng một dự án dbt từ con số 0. Vận dụng kỹ năng để nạp các loại dữ liệu khác nhau vào dự án dbt và thiết lập nhiều mô hình staging. Chương này tập trung vào phần E và L trong quy trình ELT.

Giới thiệu case study về dbt

Kiểm tra cài đặt dbt

Khởi tạo dự án dbt

Thiết lập dự án dbt và nạp dữ liệu

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Tải distribution center dưới dạng tệp seed của dbt

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Tạo model staging cho trung tâm phân phối

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Tải và tạo model người dùng qua dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Luyện tập thêm với dbt source và mô hình staging

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Gỡ lỗi các lỗi thường gặp

Thiết lập dbt

Đi sâu vào chi tiết của mô hình hóa dữ liệu với dbt. Xây dựng pipeline dữ liệu từ các mô hình staging ban đầu đến các mô hình data mart cuối cùng để trả lời nhu cầu kinh doanh trọng yếu. Đồng thời, bạn sẽ rèn luyện tạo các bài kiểm thử dữ liệu nhằm đặt rào chắn chống trôi chất lượng dữ liệu.

Tạo mô tả và kiểm thử trong dbt

Thêm mô tả cột trong dbt

Thêm các kiểm thử cột trong dbt

Xây dựng data mart và snapshot model trong dbt

Ôn nhanh hệ phân cấp mô hình dbt

Tạo mô hình mart cho customers

Tạo mô hình mart cho products

Gỡ lỗi thêm một số lỗi

Xây dựng snapshot model trong dbt

Xây dựng các mô hình dbt

Học cách nâng cấp dự án dbt với Jinja bằng cách tinh gọn mã, giảm lặp lại và cải thiện khả năng bảo trì. Bạn sẽ thực hành dùng biến, vòng lặp và macro để xây dựng quy trình chuyển đổi hiệu quả hơn.

Giới thiệu Jinja với dbt

Khởi động với dbt compile

Khởi động với dbt compile 2

Dùng dbt compile để debug

Thiết lập biến với dbt Jinja

Thiết lập biến với dbt Jinja 2

Sử dụng jinja nâng cao với dbt

Dùng vòng lặp Jinja cho SQL lặp lại 1

Dùng vòng lặp Jinja cho SQL lặp lại 2

Macro với Jinja

Cắt khoảng trắng với Jinja

Tổng kết: nghiên cứu tình huống dbt

Cải thiện dbt với Jinja

Khám phá sức mạnh của chuyển đổi dữ liệu qua khóa học Nghiên cứu Tình huống dbt (Data Build Tool) mang tính thực hành. Dành cho người dùng dbt ở giai đoạn đầu, khóa học tập trung vào các bài tập thực tiễn giúp bạn có nhiều cơ hội để xây dựng, chuyển đổi và củng cố hiểu biết về các lệnh dbt cốt lõi. Thông qua thực hành trực tiếp, bạn sẽ tự tin ở từng bước — từ thiết lập môi trường dbt đến tạo các mô hình nâng cao giải quyết bài toán kinh doanh quan trọng. Khi làm việc với các bài tập tương tác, bạn sẽ tích lũy trải nghiệm cần thiết để tự tin xử lý các dự án ETL dữ liệu ngoài đời thực.

Data Manipulation in SQL

Intermediate dbt

Học cách chuyển đổi dữ liệu thô thành mô hình sạch, đáng tin cậy với dbt qua bài tập thực tế.

Tạo model staging cho trung tâm phân phối

Nghiên cứu tình huống: Xây dựng mô hình dữ liệu E-Commerce với dbt

Bài tập tương tác thực hành