dbtが生まれた背景と、どのようにデータ変換プロジェクトの構築に使われているかを学びます。

dbtの基礎

dbt コマンドを実行する

dbt の紹介

dbt のバージョン

ヘルプを表示する

dbt のユーザー

dbtプロジェクトを作成する

dbt プロジェクトの初期化

プロジェクトプロファイルを作成する

dbtへようこそ

dbtの本質に踏み込み、データモデルを扱い、dbt内でSQLベースのモデルを作成します。基本的なSQLモデル、依存関係の定義、更新、そしてモデルに関するさまざまな問題のトラブルシューティングについて学びます。

最初のプロジェクトに取り組む

dbt ワークフローの手順

dbt プロジェクトのワークフロー

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


プロジェクトを実行する

dbtモデルとは何でしょうか？

選択肢

データモデルについて正しいこと

データモデルについて誤っていること

データモデルの特徴


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

dbtモデルを作成する

dbtモデルの更新

プロジェクト

モデルのみ

設定ファイル


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


dbtモデルを更新する

dbtのプロジェクトとモデル

Jinjaテンプレートを使ってdbtモデルを簡潔にし、`ref` 関数で階層的な依存関係を定義して、正しい順序でモデルが実行されるようにする方法を学びます。

dbtドキュメントの作成と生成

dbt docs のコマンドオプション

dbt のドキュメントフロー

dbt ドキュメントの作成

Jinja テンプレート

Jinjaで何ができますか？

Jinja テンプレートを処理する

dbt における階層型モデル

階層的なモデル作成

モデル階層の更新

dbtモデルをさらに深く

このコースでは、ELT（抽出・変換・ロード）パイプラインの構築と運用からアナリティクスエンジニアリングの流れを生んだ人気ツール、dbt（data build tool）を紹介します。データウェアハウスの構築、データモデリングと変換、データ検証のためのテスト設計を学びます。dbtでさまざまな作業を行うためにSQLとシェルコマンドを使い、ウェアハウスの利用者向けドキュメントを生成する方法も身につけます。

dbt（データ構築ツール）は、データ業界に旋風を巻き起こしています。本コースでは、dbtを使用してサンプルデータウェアハウスを実装するための概念、用語、および手法についてご説明いたします。データウェアハウジングを実装する際に、DBT（データブートストラップ・テスト）とは何か、いつ使用すべきか、そしてベストプラクティスについてご理解いただけます。実際のデータセットを扱い、データアナリスト、データエンジニアリング、アナリティクスエンジニアリングの役割において実施される抽出、ロード、変換（ELT）操作を実行していただきます。

学習者は、データウェアハウスを一から定義し、データをモデル化および変換し、テストを構築するスキルを身につけます。このコースでは、導入を予定されているデータウェアハウスの種類に関わらず、DBTの学習において確固たる基礎を築くための基盤を提供いたします。SQLおよびシェルコマンドを用いた演習を通じて、dbtの使用方法や適切なタイミングについて確信を持てるようになります。

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

このコースは、データモデリング、変換、テスト、ドキュメント作成のためのdbtを紹介します。

dbt入門

本コースでは、データモデリング、変換、テスト、およびドキュメント作成のためのdbtについてご説明いたします。

プロフェッショナルデータエンジニア Pythonで

`profiles.yml` ファイルでデータの接続先を作成する

データウェアハウスの内容を確認する

dbt プロジェクトのワークフロー

dbt入門

実践的なインタラクティブ演習