Дізнайтеся, навіщо існує dbt і як його використовують для створення проєктів із перетворення даних.

Основи dbt

Запуск команди dbt

Знайомство з dbt

Версія dbt

Як отримати довідку

Користувачі dbt

Створення проєкту dbt

Ініціалізація проєкту dbt

Створення профілю проєкту

Ласкаво просимо до dbt

Зануртеся в суть dbt, працюючи з моделями даних і створюючи SQL‑моделі в dbt. Дізнайтеся про базові SQL‑моделі, визначайте залежності, оновлюйте та усувайте різні проблеми з моделями.

Робота з першим проєктом

Робочий процес у проєкті dbt

Запуск проєкту

Що таке модель dbt?

Властивості моделі даних

Створення моделі dbt

Оновлення моделей dbt

Файли конфігурації

Оновлення моделі dbt

Проєкти та моделі в dbt

Навчіться використовувати шаблони Jinja, щоб спростити моделі dbt, і визначати ієрархічні залежності за допомогою функції `ref`, щоб забезпечити коректне виконання моделей.

Створення та генерація документації dbt

Параметри команди dbt docs

Процес створення документації в dbt

Послідовність створення документації в dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Створення документації dbt

Шаблони Jinja

На що здатна Jinja?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Обробіть шаблон Jinja

Ієрархічні моделі в dbt

Порядок створення моделей

Ієрархічне створення моделей


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Оновлення ієрархій моделей

Більше про моделі в dbt

У цьому курсі ви познайомитеся з dbt (data build tool) — популярним інструментом, що дав поштовх напрямові аналітичної інженерії для створення та підтримки конвеєрів ELT (extract, load, transform). Ви навчитеся будувати сховища даних, виконувати моделювання та перетворення даних, а також проєктувати тести для їх перевірки. Ви використовуватимете SQL і команди shell, щоб виконувати різні завдання в dbt, а також дізнаєтеся, як генерувати документацію для користувачів вашого сховища!

dbt, або data build tool, стрімко підкорив світ даних. Цей курс ознайомить вас із концепціями, термінологією та методами використання dbt для реалізації прикладу сховища даних. Ви отримаєте розуміння того, що таке dbt, коли його слід використовувати, а також найкращих практик під час впровадження сховища даних. Ви працюватимете з реальними наборами даних і виконуватимете операції вилучення, завантаження та перетворення, як це реалізується в ролях аналітика даних, інженера даних та інженера аналітики.

Учні розвинуть навички, щоб створити сховище даних з нуля, моделювати й трансформувати дані та створювати тести! Цей курс надасть вам міцну основу для подальшого розвитку у вашій dbt-подорожі, незалежно від типу сховища даних, яке ви плануєте впровадити. Отримайте впевненість у тому, як і коли використовувати dbt, виконуючи вправи з використанням SQL і команд shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Цей курс знайомить з dbt для моделювання даних, трансформацій, тестування та створення документації.

Вступ до dbt

Цей курс знайомить із dbt для моделювання даних, трансформацій, тестування та створення документації.

Професійний інженер даних в Python

Додайте документацію до моделей, тестів тощо

Використайте `dbt run`, щоб згенерувати моделі

Використайте `dbt docs generate`, щоб згенерувати файли документації

Скопіюйте вміст на сервіс хостингу

Відкрийте документацію у веббраузері

Послідовність створення документації в dbt

Вступ до dbt

Практична інтерактивна вправа