Научитесь обеспечивать качество данных с помощью продвинутых техник тестирования в dbt. Изучите встроенные, единичные и многократно используемые тесты для проверки моделей, источников и сидов. Узнайте, как определять пользовательские тесты с использованием Jinja, устранять неполадки и оптимизировать процесс валидации, чтобы выявлять несоответствия до того, как они повлияют на последующий анализ.

Введение в тестирование в dbt

Встроенные тесты

Определение тестов для модели

Поиск некорректных данных

Создание сингулярных тестов

Шаги разработки сингулярного теста

Проверка продолжительности поездки

Проверка тестовых запросов

Создание пользовательских переиспользуемых тестов

Тестирование, тестирование, тестирование

Реализация многократно используемого теста

Преобразование сингулярного теста в многоразовый

Тестирование и документация

Выведите свои навыки работы с dbt на новый уровень, реализуя масштабируемые рабочие процессы, готовые к производственной среде. Научитесь использовать источники и сиды dbt для улучшения отслеживания происхождения данных, внедрять снимки для фиксации исторических изменений и автоматизировать преобразования с помощью dbt build. По завершении курса вы будете уверенно управлять масштабными конвейерами данных.

Источники dbt

Варианты

Только dbt-модели

Общее для моделей и источников

Только dbt-источники

Модели, источники или оба варианта?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Добавление источника данных

dbt seeds

Зёрна истины

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP — это код

SCD2 с помощью снимков dbt (старый вариант)

Процесс создания снимка

Проблема со снимком

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Создание снапшота

Автоматизация с помощью dbt build

dbt build выполняет этот шаг

dbt build *не* выполняет это

Что не умеет dbt build?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Помогите стажёру!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Собираем всё вместе

Внедрение dbt в производственную среду

Выведите свои навыки работы с dbt на новый уровень с помощью этого практического курса, разработанного для дата-инженеров и специалистов в области аналитики. Вы изучите продвинутые возможности dbt: стратегии пользовательского тестирования, многократно используемые тесты, источники, сиды и снимки для отслеживания исторических изменений данных. Научитесь автоматизировать конвейеры dbt с помощью dbt build, обеспечивая надёжные и эффективные преобразования в производственной среде. Благодаря интерактивным упражнениям и реальным сценариям вы получите уверенные навыки внедрения dbt в масштабных рабочих процессах с данными.

<h2>Освойте рабочие процессы dbt</h2>
<p>Выведите свои навыки dbt на новый уровень и узнайте, как внедрять надежные, масштабируемые рабочие процессы преобразования данных в производственной среде. Этот курс предназначен для инженеров данных, аналитиков и инженеров аналитики, которые хотят выйти за рамки основ и получить практический опыт работы с расширенными возможностями dbt.</p>

<h2>Обеспечьте качество данных с помощью расширенного тестирования</h2>
<p>Создание надежных конвейеров данных начинается с валидации. Вы изучите продвинутые методы тестирования, чтобы выявлять несоответствия в данных, создавать собственные переиспользуемые тесты для стандартизации проверки across models, а также применять тесты к источникам и seed-данным для более эффективного управления и отслеживания происхождения данных.</p>

<h2>Используйте dbt Sources, Seeds и Snapshots</h2>
<p>Узнайте, как источники dbt могут улучшить документацию и происхождение данных, обеспечивая при этом отслеживаемость сырых данных. Научитесь использовать dbt seeds для эффективного управления небольшими статическими наборами данных. Затем освоите медленно изменяющиеся измерения (SCD2) с помощью снимков dbt, что позволит вам отслеживать исторические изменения в вашем хранилище данных с минимальными усилиями.</p>

<h2>Автоматизируйте и оптимизируйте с помощью dbt Build</h2>
<p>Эффективность — ключевой фактор в производственных средах. Вы узнаете, как оптимизировать рабочие процессы с помощью dbt build, автоматизируя выполнение моделей, тесты и снимки, чтобы обеспечить надежные преобразования. Оптимизируя свой пайплайн, вы повысите производительность, удобство сопровождения и масштабируемость ваших проектов dbt.</p>

<h2>Применяйте свои навыки в реальных сценариях</h2>
<p>Благодаря интерактивным упражнениям и практическим заданиям вы закрепите свои знания и обретёте уверенность в применении dbt в реальных рабочих условиях. К концу курса вы будете готовы проектировать, тестировать и автоматизировать dbt-процессы, готовые к промышленной эксплуатации, обеспечивая высокое качество и хорошо документированные преобразования в масштабе.</p>


Introduction to dbt

Повысьте навыки dbt с практическим курсом для инженеров данных и аналитиков.

Средний уровень dbt

Прокачайте навыки dbt на практическом курсе для data engineers и аналитиков.

dbt seeds

Create Your Free Account