Дізнайтеся, навіщо існує dbt і як його використовують для створення проєктів із перетворення даних.

Основи dbt

Запуск команди dbt

Знайомство з dbt

Версія dbt

Як отримати довідку

Користувачі dbt

Створення проєкту dbt

Ініціалізація проєкту dbt

Створення профілю проєкту

Ласкаво просимо до dbt

Зануртеся в суть dbt, працюючи з моделями даних і створюючи SQL‑моделі в dbt. Дізнайтеся про базові SQL‑моделі, визначайте залежності, оновлюйте та усувайте різні проблеми з моделями.

Робота з першим проєктом

Кроки робочого процесу dbt

Робочий процес у проєкті dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Запуск проєкту

Що таке модель dbt?

Варіанти

Що істинно для моделі даних

Що хибно для моделі даних

Властивості моделі даних


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Створення моделі dbt

Оновлення моделей dbt

Проєкт

Лише модель

Файли конфігурації


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Оновлення моделі dbt

Проєкти та моделі в dbt

Навчіться використовувати шаблони Jinja, щоб спростити моделі dbt, і визначати ієрархічні залежності за допомогою функції `ref`, щоб забезпечити коректне виконання моделей.

Створення та генерація документації dbt

Параметри команди dbt docs

Послідовність створення документації в dbt

Створення документації dbt

Шаблони Jinja

На що здатна Jinja?

Обробіть шаблон Jinja

Ієрархічні моделі в dbt

Ієрархічне створення моделей

Оновлення ієрархій моделей

Більше про моделі в dbt

У цьому курсі ви познайомитеся з dbt (data build tool) — популярним інструментом, що дав поштовх напрямові аналітичної інженерії для створення та підтримки конвеєрів ELT (extract, load, transform). Ви навчитеся будувати сховища даних, виконувати моделювання та перетворення даних, а також проєктувати тести для їх перевірки. Ви використовуватимете SQL і команди shell, щоб виконувати різні завдання в dbt, а також дізнаєтеся, як генерувати документацію для користувачів вашого сховища!

dbt, або data build tool, стрімко підкорив світ даних. Цей курс ознайомить вас із концепціями, термінологією та методами використання dbt для реалізації прикладу сховища даних. Ви отримаєте розуміння того, що таке dbt, коли його слід використовувати, а також найкращих практик під час впровадження сховища даних. Ви працюватимете з реальними наборами даних і виконуватимете операції вилучення, завантаження та перетворення, як це реалізується в ролях аналітика даних, інженера даних та інженера аналітики.

Учні розвинуть навички, щоб створити сховище даних з нуля, моделювати й трансформувати дані та створювати тести! Цей курс надасть вам міцну основу для подальшого розвитку у вашій dbt-подорожі, незалежно від типу сховища даних, яке ви плануєте впровадити. Отримайте впевненість у тому, як і коли використовувати dbt, виконуючи вправи з використанням SQL і команд shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Цей курс знайомить з dbt для моделювання даних, трансформацій, тестування та створення документації.

Вступ до dbt

Цей курс знайомить із dbt для моделювання даних, трансформацій, тестування та створення документації.

Професійний інженер даних в Python

Класифікує спільні атрибути даних

Є тим самим, що й структура даних

Властивості моделі даних

Вступ до dbt

Практична інтерактивна вправа