ゼロから dbt プロジェクトを構築する練習をします。さまざまな種類のデータを dbt プロジェクトに読み込み、複数のステージング dbt モデルを設定するスキルを実践しましょう。この章では、ELT プロセスの E と L に焦点を当てます。

dbtケーススタディの紹介

dbt のインストールを確認する

dbt プロジェクトを初期化する

dbt プロジェクトのセットアップとデータの読み込み

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

dbt のシードファイルとして distribution center を読み込む

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


配送センターのステージングモデルを作成する

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

dbt source を使ってユーザーモデルを読み込み・作成する

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


dbtのsourceとステージングモデルにさらに取り組もう

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

よくあるエラーをデバッグする

dbt のセットアップ

dbt のデータモデリングを深く掘り下げます。初期のステージングモデルから、重要なビジネスニーズに応える最終的なデータマートモデルまで、データパイプラインを構築しましょう。その過程で、データ品質の劣化を防ぐためのデータテストの作成も体験します。

dbtの記述とテストを作成する

dbt のカラム説明を追加する

dbtのカラムテストを追加する

dbtのデータマートとスナップショットモデルを構築する

dbt モデルの階層をおさらい

顧客向けのマートモデルを作成する

製品向けのマートモデルを作成する

エラーをさらにデバッグする

dbt のスナップショットモデルを作成する

dbt モデルの構築

Jinja を使って dbt プロジェクトを効率化し、コードを簡潔にし、重複を減らし、保守性を高める方法を学びます。変数、ループ、マクロを活用して、より効率的な変換ワークフローを構築する練習を行います。

dbt で始める Jinja の基本

dbt compileでウォームアップしましょう

dbt compileでウォームアップ 2

dbt compile を使ったデバッグ

dbt Jinjaで変数を設定する

dbt Jinja 2 で変数を設定する

dbtでのJinjaの高度な使い方

繰り返しのSQLにJinjaのforループを使う 1

Jinja を使った繰り返し SQL のループ 2

Jinja のマクロ

Jinjaで空白をトリミングする

まとめ: dbt ケーススタディ

Jinja で dbt を強化する

実践で学ぶ dbt（Data Build Tool）ケーススタディコースで、データ変換の力を身につけましょう。dbt を使い始めた方を対象に、現場で役立つ演習を通じて、重要な dbt コマンドを実際に使いながら、構築・変換・洗練のステップを繰り返し体験できます。dbt 環境のセットアップから、重要なビジネス課題を解決する高度なモデルの作成まで、プロセスの各段階に自信を持てるようになります。インタラクティブな演習を進めることで、実務のデータ ETL パイプラインに取り組むための実践力を養えます。

Data Manipulation in SQL

Intermediate dbt

dbtで実践的な演習を通じて、生データをクリーンで信頼性のあるモデルに変換する方法を学ぶ。

ケーススタディ: dbt で構築する Eコマースのデータモデル

実践的な現場演習で、dbtを使い生データをクリーンで信頼できるモデルへ変換する方法を学びます。

よくあるエラーをデバッグする

ケーススタディ: dbt で構築する Eコマースのデータモデル

実践的なインタラクティブ演習