Узнайте, зачем был создан dbt и как с его помощью организуются проекты по преобразованию данных.

Основы dbt

Выполнение команды dbt

Знакомство с dbt

Версия dbt

Получение справки

Пользователи dbt

Создание проекта dbt

Инициализация проекта dbt

Создание профиля проекта

Добро пожаловать в dbt

Погрузитесь в основу dbt: работайте с моделями данных и создавайте SQL-модели в dbt. Изучите базовые SQL-модели, определяйте зависимости, вносите изменения и устраняйте неполадки в моделях.

Работа с первым проектом

Шаги рабочего процесса dbt

Рабочий процесс dbt-проекта

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Запуск проекта

Что такое модель dbt?

Варианты

Верно для модели данных

Неверно для модели данных

Характеристики модели данных


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Создание модели dbt

Обновление моделей dbt

Проект

Только модель

Файлы конфигурации


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Обновление модели dbt

Проекты и модели dbt

Научитесь использовать шаблоны Jinja для упрощения моделей dbt и определяйте иерархические зависимости с помощью функции `ref`, чтобы обеспечить правильный порядок выполнения моделей.

Создание и генерация документации dbt

Параметры команды dbt docs

Процесс создания документации dbt

Создание документации dbt

Шаблоны Jinja

Что умеет Jinja?

Обработка шаблона Jinja

Иерархические модели в dbt

Иерархическое создание моделей

Обновление иерархии моделей

Модели dbt: продвинутые темы

Этот курс знакомит вас с dbt (data build tool) — популярным инструментом, который дал начало аналитической инженерии для создания и сопровождения конвейеров извлечения, преобразования и загрузки данных (ELT). Вы научитесь строить хранилища данных, выполнять моделирование и преобразование данных, а также разрабатывать тесты для проверки качества данных. В курсе используются SQL и команды оболочки для решения разнообразных задач с dbt, а также рассматривается создание документации для пользователей хранилища.

dbt, или data build tool, произвел фурор в мире данных. Этот курс познакомит вас с концепциями, терминологией и методами использования dbt для реализации примера хранилища данных. Вы получите представление о том, что такое dbt, когда его следует использовать и какие лучшие практики применять при внедрении хранилища данных. Вы будете работать с реальными наборами данных и выполнять операции извлечения, загрузки и преобразования, как это делается в ролях аналитика данных, инженера данных и инженера аналитики.

Обучающиеся освоят навыки создания хранилища данных с нуля, моделирования и преобразования данных, а также разработки тестов! Этот курс даст вам прочную основу для дальнейшего развития на вашем пути с dbt, независимо от того, какой тип хранилища данных вы планируете внедрить. Уверенно научитесь понимать, как и когда использовать dbt, выполняя упражнения с использованием SQL и команд оболочки.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Курс знакомит с dbt для моделирования данных, трансформаций, тестирования и создания документации.

Введение в dbt

Курс знакомит с dbt для моделирования данных, преобразований, тестирования и создания документации.

Профессиональный инженер данных на Python

Создать места назначения данных в файле `profiles.yml`

Проверить содержимое хранилища данных

Рабочий процесс dbt-проекта

Введение в dbt

Практическое интерактивное упражнение