เรียนรู้เหตุผลที่ dbt ถูกสร้างขึ้น และวิธีนำไปใช้สร้างโปรเจกต์แปลงข้อมูล

พื้นฐานของ dbt

This is the code editor window. The terminal window is the panel below.

Run the following command in the terminal area:
  
dbt

การรันคำสั่ง dbt

แนะนำ dbt

เวอร์ชันของ dbt

การขอความช่วยเหลือ

ตัวเลือก

มีแนวโน้มใช้ dbt

ไม่น่าจะใช้ dbt

ผู้ใช้ dbt

การสร้างโปรเจกต์ dbt

Project Name: nyc_yellow_taxi
Database type: duckdb


Run the following commands in the terminal window:


dbt init


Note: You will need to specify the project name (nyc_yellow_taxi) and
select the database type ([1] duckdb)
  
Once complete run:
  
cd nyc_yellow_taxi

ls


การเริ่มต้นโปรเจกต์ dbt

# Modify the project name
____:
  outputs:
    dev:
      # Change the database type
      type: ____
      path: dbt.duckdb
  target: dev


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev
  



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with src_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev


Run the following command in the terminal after editing the profiles.yml file:
  
dbt debug


การสร้าง project profile

ยินดีต้อนรับสู่ dbt

ลงลึกสู่แก่นของ dbt ด้วยการทำงานกับ data models และการสร้าง SQL-based models ใน dbt เรียนรู้พื้นฐาน SQL models การกำหนด dependencies การอัปเดต และการแก้ไขปัญหาต่าง ๆ ของโมเดล

การทำงานกับโปรเจกต์แรก

ขั้นตอนการทำงานของโปรเจกต์ dbt

การรันโปรเจกต์

dbt model คืออะไร?

คุณสมบัติของดาต้าโมเดล

การสร้างโมเดล dbt

การอัปเดต dbt models

ไฟล์การตั้งค่า

การอัปเดต dbt model

โปรเจกต์และโมเดล dbt

เรียนรู้การใช้ Jinja templates เพื่อลดความซับซ้อนของ dbt models และการกำหนด dependencies แบบลำดับชั้นด้วยฟังก์ชัน `ref` เพื่อให้โมเดลทำงานได้อย่างถูกต้อง

การสร้างและสร้างเอกสาร dbt

ตัวเลือกคำสั่ง dbt docs

ขั้นตอนการสร้างเอกสาร dbt

การสร้างเอกสารประกอบ dbt

Jinja templates

Jinja ทำอะไรได้บ้าง?

ประมวลผล Jinja template

โมเดลแบบลำดับชั้นใน dbt

การสร้างโมเดลแบบลำดับชั้น

การอัปเดตลำดับชั้นของโมเดล

เจาะลึก dbt models

คอร์สนี้แนะนำ dbt (data build tool) ซึ่งเป็นเครื่องมือยอดนิยมที่จุดประกายให้เกิดสาขา analytics engineering สำหรับการสร้างและดูแล pipeline แบบ extract, transform, and load (ELT) จะได้เรียนรู้การสร้าง data warehouse การทำ data modeling และการแปลงข้อมูล รวมถึงการออกแบบการทดสอบเพื่อตรวจสอบความถูกต้องของข้อมูล โดยใช้ SQL และคำสั่ง shell ในการทำงานกับ dbt พร้อมทั้งเรียนรู้วิธีสร้างเอกสารประกอบสำหรับผู้ใช้ warehouse ของคุณด้วย

dbt หรือ data build tool ได้สร้างแรงสั่นสะเทือนให้กับวงการข้อมูลอย่างมาก หลักสูตรนี้จะแนะนำแนวคิด คำศัพท์ และวิธีการใช้ dbt เพื่อสร้างคลังข้อมูลตัวอย่าง คุณจะเข้าใจว่า dbt คืออะไร ควรใช้เมื่อใด และแนวปฏิบัติที่ดีที่สุดในการนำคลังข้อมูลมาใช้งาน คุณจะได้ทำงานกับชุดข้อมูลจริงและดำเนินการดึงข้อมูล โหลดข้อมูล และแปลงข้อมูล ตามที่ใช้ในบทบาทนักวิเคราะห์ข้อมูล วิศวกรข้อมูล และวิศวกรวิเคราะห์ข้อมูล

ผู้เรียนจะพัฒนาทักษะในการกำหนดคลังข้อมูลตั้งแต่เริ่มต้น สร้างแบบจำลองและแปลงข้อมูล และสร้างการทดสอบ! หลักสูตรนี้จะมอบพื้นฐานที่มั่นคงให้คุณต่อยอดบนเส้นทาง dbt ของคุณ ไม่ว่าคุณจะตั้งใจนำคลังข้อมูลประเภทใดไปใช้งานก็ตาม เพิ่มความมั่นใจในการใช้ dbt ว่าควรใช้เมื่อไรและอย่างไร โดยฝึกทำแบบฝึกหัดด้วย SQL และคำสั่งเชลล์

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

หลักสูตรนี้แนะนำ dbt สำหรับการสร้างแบบจำลองข้อมูล การแปลง การทดสอบ และการสร้างเอกสาร

dbt เบื้องต้น

คอร์สนี้แนะนำ dbt สำหรับการสร้างแบบจำลองข้อมูล การแปลง การทดสอบ และการสร้างเอกสารประกอบ

แนะนำ dbt

Create Your Free Account