Дізнайтеся, як забезпечувати якість даних за допомогою розширених технік тестування в dbt. Розгляньте вбудовані, singular і багаторазові тести для перевірки моделей, sources і seeds. Зрозумійте, як визначати власні тести за допомогою Jinja, знаходити причини збоїв і оптимізувати процес валідації, щоб виявляти невідповідності до того, як вони вплинуть на подальшу аналітику.

Вступ до тестування в dbt

Вбудовані тести

Визначення тестів для моделі

Пошук некоректних даних

Створення окремих тестів

Кроки для розробки singular-тесту

Перевірка тривалості поїздки

Перевірка тестових запитів

Створення власних багаторазових тестів

Тестування, тестування, тестування

Реалізація багаторазового тесту

Оновлення від одиничного до багаторазового тесту

Тестування та документація

Підніміть свої навички dbt на новий рівень, впроваджуючи масштабовані робочі процеси, готові до продакшну. Дізнайтеся, як використовувати dbt sources і seeds для покращення лінійності даних, застосовувати snapshots для відстеження історичних змін і автоматизувати перетворення за допомогою dbt build. Наприкінці ви будете готові впевнено керувати масштабними конвеєрами даних.

джерела dbt

Варіанти

Лише моделі dbt

Спільне для моделей і джерел

Лише джерела dbt

Моделі, джерела чи обидва?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Додавання source

dbt seeds

Зерна істини

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP — це код

SCD2 за допомогою знімків dbt (старе)

Порядок створення snapshot

Процес створення snapshot

Проблема зі snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Додавання snapshot

Автоматизація за допомогою dbt build

dbt build виконує цей крок

dbt build це не запускає

Чого не вміє dbt build?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Допомога стажеру!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Збираємо все докупи

Впровадження dbt у продакшн

Поглибте свої навички роботи з dbt на практичному курсі для інженерів даних і фахівців з аналітики. Ви дослідите розширені можливості dbt: користувацькі стратегії тестування, багаторазові тести, sources, seeds і snapshots для відстеження історичних змін у даних. Дізнайтеся, як автоматизувати конвеєри dbt за допомогою dbt build, щоб забезпечити надійні та ефективні перетворення в продакшн-середовищі. Завдяки інтерактивним вправам і реальним сценаріям ви отримаєте впевненість у впровадженні dbt у масштабні робочі процеси з даними.

<h2>Опануйте робочі процеси dbt</h2>
<p>Підніміть свої навички dbt на новий рівень і дізнайтеся, як впроваджувати надійні, масштабовані робочі процеси трансформації даних у виробничому середовищі. Цей курс створено для інженерів даних, аналітиків і аналітичних інженерів, які хочуть вийти за межі базового рівня та отримати практичний досвід роботи з розширеними можливостями dbt.</p>

<h2>Забезпечте якість даних за допомогою розширеного тестування</h2>
<p>Створення надійних конвеєрів даних починається з валідації. Ви ознайомитеся з передовими методами тестування, щоб виявляти невідповідності в даних, створювати власні повторно використовувані тести для стандартизації валідації між моделями та застосовувати тести до джерел і seed-даних для кращого контролю та відстеження походження даних.</p>

<h2>Використовуйте dbt Sources, Seeds і Snapshots</h2>
<p>Дізнайтеся, як джерела dbt можуть покращити документацію та походження даних, забезпечуючи при цьому відстежуваність сирих даних. Навчіться використовувати dbt seeds для ефективного керування невеликими статичними наборами даних. Потім опануйте повільно змінювані виміри (SCD2) за допомогою dbt snapshots, що дасть змогу відстежувати історичні зміни у вашому сховищі даних з мінімальними зусиллями.</p>

<h2>Автоматизуйте та оптимізуйте за допомогою dbt Build</h2>
<p>Ефективність є ключовою у виробничих середовищах. Ви дізнаєтеся, як оптимізувати робочі процеси за допомогою dbt build, автоматизуючи виконання моделей, тести та snapshots, щоб забезпечити надійні трансформації. Оптимізуючи свій пайплайн, ви підвищите продуктивність, зручність супроводу та масштабованість ваших проєктів dbt.</p>

<h2>Застосуйте свої навички в реальних сценаріях</h2>
<p>Завдяки інтерактивним вправам і практиці ви закріпите свої знання та здобудете впевненість у застосуванні dbt у реальних умовах. Після завершення курсу ви будете готові проєктувати, тестувати й автоматизувати dbt-робочі процеси, придатні для промислового використання, забезпечуючи високоякісні та добре задокументовані трансформації у масштабі.</p>


Introduction to dbt

Покращуйте навички dbt з цим практичним курсом для інженерів даних та аналітиків.

Середній рівень dbt

Підніміть свої навички dbt на новий рівень із цим практичним курсом для інженерів даних і фахівців з аналітики.

Чого не вміє dbt build?

Середній рівень dbt

Практична інтерактивна вправа