เรียนรู้เหตุผลที่ dbt ถูกสร้างขึ้น และวิธีนำไปใช้สร้างโปรเจกต์แปลงข้อมูล

พื้นฐานของ dbt

การรันคำสั่ง dbt

แนะนำ dbt

เวอร์ชันของ dbt

การขอความช่วยเหลือ

ผู้ใช้ dbt

การสร้างโปรเจกต์ dbt

การเริ่มต้นโปรเจกต์ dbt

การสร้าง project profile

ยินดีต้อนรับสู่ dbt

ลงลึกสู่แก่นของ dbt ด้วยการทำงานกับ data models และการสร้าง SQL-based models ใน dbt เรียนรู้พื้นฐาน SQL models การกำหนด dependencies การอัปเดต และการแก้ไขปัญหาต่าง ๆ ของโมเดล

การทำงานกับโปรเจกต์แรก

ขั้นตอนการทำงานของโปรเจกต์ dbt

การรันโปรเจกต์

dbt model คืออะไร?

คุณสมบัติของดาต้าโมเดล

การสร้างโมเดล dbt

การอัปเดต dbt models

ไฟล์การตั้งค่า

การอัปเดต dbt model

โปรเจกต์และโมเดล dbt

เรียนรู้การใช้ Jinja templates เพื่อลดความซับซ้อนของ dbt models และการกำหนด dependencies แบบลำดับชั้นด้วยฟังก์ชัน `ref` เพื่อให้โมเดลทำงานได้อย่างถูกต้อง

การสร้างและสร้างเอกสาร dbt

ตัวเลือกคำสั่ง dbt docs

กระบวนการสร้างเอกสาร dbt

ขั้นตอนการสร้างเอกสาร dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


การสร้างเอกสารประกอบ dbt

Jinja templates

Jinja ทำอะไรได้บ้าง?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

ประมวลผล Jinja template

โมเดลแบบลำดับชั้นใน dbt

ลำดับการสร้างโมเดล

การสร้างโมเดลแบบลำดับชั้น


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


การอัปเดตลำดับชั้นของโมเดล

เจาะลึก dbt models

คอร์สนี้แนะนำ dbt (data build tool) ซึ่งเป็นเครื่องมือยอดนิยมที่จุดประกายให้เกิดสาขา analytics engineering สำหรับการสร้างและดูแล pipeline แบบ extract, transform, and load (ELT) จะได้เรียนรู้การสร้าง data warehouse การทำ data modeling และการแปลงข้อมูล รวมถึงการออกแบบการทดสอบเพื่อตรวจสอบความถูกต้องของข้อมูล โดยใช้ SQL และคำสั่ง shell ในการทำงานกับ dbt พร้อมทั้งเรียนรู้วิธีสร้างเอกสารประกอบสำหรับผู้ใช้ warehouse ของคุณด้วย

dbt หรือ data build tool ได้สร้างแรงสั่นสะเทือนให้กับวงการข้อมูลอย่างมาก หลักสูตรนี้จะแนะนำแนวคิด คำศัพท์ และวิธีการใช้ dbt เพื่อสร้างคลังข้อมูลตัวอย่าง คุณจะเข้าใจว่า dbt คืออะไร ควรใช้เมื่อใด และแนวปฏิบัติที่ดีที่สุดในการนำคลังข้อมูลมาใช้งาน คุณจะได้ทำงานกับชุดข้อมูลจริงและดำเนินการดึงข้อมูล โหลดข้อมูล และแปลงข้อมูล ตามที่ใช้ในบทบาทนักวิเคราะห์ข้อมูล วิศวกรข้อมูล และวิศวกรวิเคราะห์ข้อมูล

ผู้เรียนจะพัฒนาทักษะในการกำหนดคลังข้อมูลตั้งแต่เริ่มต้น สร้างแบบจำลองและแปลงข้อมูล และสร้างการทดสอบ! หลักสูตรนี้จะมอบพื้นฐานที่มั่นคงให้คุณต่อยอดบนเส้นทาง dbt ของคุณ ไม่ว่าคุณจะตั้งใจนำคลังข้อมูลประเภทใดไปใช้งานก็ตาม เพิ่มความมั่นใจในการใช้ dbt ว่าควรใช้เมื่อไรและอย่างไร โดยฝึกทำแบบฝึกหัดด้วย SQL และคำสั่งเชลล์

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

หลักสูตรนี้แนะนำ dbt สำหรับการสร้างแบบจำลองข้อมูล การแปลง การทดสอบ และการสร้างเอกสาร

dbt เบื้องต้น

คอร์สนี้แนะนำ dbt สำหรับการสร้างแบบจำลองข้อมูล การแปลง การทดสอบ และการสร้างเอกสารประกอบ

Jinja ทำอะไรได้บ้าง?

dbt เบื้องต้น

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง