Дізнайтеся, навіщо існує dbt і як його використовують для створення проєктів із перетворення даних.

Основи dbt

This is the code editor window. The terminal window is the panel below.

Run the following command in the terminal area:
  
dbt

Запуск команди dbt

Знайомство з dbt

Версія dbt

Як отримати довідку

Варіанти

Ймовірно використовують dbt

Малоймовірно використовують dbt

Користувачі dbt

Створення проєкту dbt

Project Name: nyc_yellow_taxi
Database type: duckdb


Run the following commands in the terminal window:


dbt init


Note: You will need to specify the project name (nyc_yellow_taxi) and
select the database type ([1] duckdb)
  
Once complete run:
  
cd nyc_yellow_taxi

ls


Ініціалізація проєкту dbt

# Modify the project name
____:
  outputs:
    dev:
      # Change the database type
      type: ____
      path: dbt.duckdb
  target: dev


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev
  



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with src_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev


Run the following command in the terminal after editing the profiles.yml file:
  
dbt debug


Створення профілю проєкту

Ласкаво просимо до dbt

Зануртеся в суть dbt, працюючи з моделями даних і створюючи SQL‑моделі в dbt. Дізнайтеся про базові SQL‑моделі, визначайте залежності, оновлюйте та усувайте різні проблеми з моделями.

Робота з першим проєктом

Робочий процес у проєкті dbt

Запуск проєкту

Що таке модель dbt?

Властивості моделі даних

Створення моделі dbt

Оновлення моделей dbt

Файли конфігурації

Оновлення моделі dbt

Проєкти та моделі в dbt

Навчіться використовувати шаблони Jinja, щоб спростити моделі dbt, і визначати ієрархічні залежності за допомогою функції `ref`, щоб забезпечити коректне виконання моделей.

Створення та генерація документації dbt

Параметри команди dbt docs

Послідовність створення документації в dbt

Створення документації dbt

Шаблони Jinja

На що здатна Jinja?

Обробіть шаблон Jinja

Ієрархічні моделі в dbt

Ієрархічне створення моделей

Оновлення ієрархій моделей

Більше про моделі в dbt

У цьому курсі ви познайомитеся з dbt (data build tool) — популярним інструментом, що дав поштовх напрямові аналітичної інженерії для створення та підтримки конвеєрів ELT (extract, load, transform). Ви навчитеся будувати сховища даних, виконувати моделювання та перетворення даних, а також проєктувати тести для їх перевірки. Ви використовуватимете SQL і команди shell, щоб виконувати різні завдання в dbt, а також дізнаєтеся, як генерувати документацію для користувачів вашого сховища!

dbt, або data build tool, стрімко підкорив світ даних. Цей курс ознайомить вас із концепціями, термінологією та методами використання dbt для реалізації прикладу сховища даних. Ви отримаєте розуміння того, що таке dbt, коли його слід використовувати, а також найкращих практик під час впровадження сховища даних. Ви працюватимете з реальними наборами даних і виконуватимете операції вилучення, завантаження та перетворення, як це реалізується в ролях аналітика даних, інженера даних та інженера аналітики.

Учні розвинуть навички, щоб створити сховище даних з нуля, моделювати й трансформувати дані та створювати тести! Цей курс надасть вам міцну основу для подальшого розвитку у вашій dbt-подорожі, незалежно від типу сховища даних, яке ви плануєте впровадити. Отримайте впевненість у тому, як і коли використовувати dbt, виконуючи вправи з використанням SQL і команд shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Цей курс знайомить з dbt для моделювання даних, трансформацій, тестування та створення документації.

Вступ до dbt

Цей курс знайомить із dbt для моделювання даних, трансформацій, тестування та створення документації.

Запуск команди dbt

Вступ до dbt

Практична інтерактивна вправа