dbt’de gelişmiş test teknikleriyle veri kalitesini nasıl güvence altına alacağını öğren. Modelleri, sources ve seeds öğelerini doğrulamak için yerleşik, tekil ve yeniden kullanılabilir testleri keşfet. Jinja kullanarak özel testleri nasıl tanımlayacağını, hataları nasıl gidereceğini ve aşağı akış analizini etkilemeden önce tutarsızlıkları yakalamak için doğrulama iş akışını nasıl optimize edeceğini anla.

dbt'de test etmeye giriş

Seçenekler

Yerleşik

Yerleşik değil

Yerleşik testler

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Bir modelde testleri tanımlama

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Hatalı verileri bulma

Tekil testler oluşturma

Tekil test geliştirme süreci

Tekil bir test geliştirme adımları

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Yolculuk süresini doğrulama

Geçerli test sorgusu

Geçersiz test sorgusu

Test sorgularını doğrulama

Özel, yeniden kullanılabilir testler oluşturma

Reusable

Singular

Test, test, test

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Yeniden kullanılabilir bir test uygulama

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Tekilden yeniden kullanılabilir teste güncelleme

Test Etme ve Dokümantasyon

Ölçeklenebilir, üretime hazır iş akışlarını hayata geçirerek dbt becerilerini bir üst seviyeye taşı. Veri soyutunu (lineage) iyileştirmek için dbt sources ve seeds kullanmayı, tarihsel değişiklikleri izlemek için snapshots uygulamayı ve dönüşümlerini dbt build ile otomatikleştirmeyi öğren. Kursun sonunda, büyük ölçekli veri işlem hatlarını güvenle yönetebilecek donanıma sahip olacaksın.

dbt sources

Modeller, kaynaklar ya da ikisi birden?

Bir kaynak ekleme

dbt seeds

Gerçeklik payı

ZIP kodu iş başında

dbt snapshots ile SCD2 (eski)

Snapshot süreci

Snapshot sorunu

Bir snapshot ekleme

dbt build ile otomasyon

dbt build neyi yapamaz?

Staja yardım et!

Hepsini bir araya getirme

dbt’yi üretimde uygulamak

Veri mühendisleri ve analitik profesyoneller için tasarlanmış bu uygulamalı kursla dbt becerilerini bir üst seviyeye taşı. Özel test stratejileri, yeniden kullanılabilir testler, sources, seeds ve geçmiş veri değişimlerini izlemek için snapshots gibi gelişmiş dbt özelliklerini keşfedeceksin. Üretim ortamlarında güvenilir ve verimli dönüşümler sağlamak için dbt build ile dbt işlem hatlarını nasıl otomatikleştireceğini öğren. Etkileşimli egzersizler ve gerçek dünya senaryolarıyla, dbt’yi büyük ölçekli veri iş akışlarında uygulama konusunda özgüven kazanacaksın.

<h2>Dbt İş Akışlarını Ustaca Kullanma</h2>
<p>DBT becerilerinizi bir üst seviyeye taşıyın ve üretim ortamında sağlam, ölçeklenebilir veri dönüştürme iş akışlarını nasıl uygulayacağınızı öğrenin. Bu kurs, temel bilgilerin ötesine geçmek ve gelişmiş dbt işlevselliği konusunda pratik deneyim kazanmak isteyen veri mühendisleri, analistler ve analitik mühendisleri için tasarlanmıştır.</p>

<h2>Gelişmiş Testlerle Veri Kalitesini Sağlayın</h2>
<p>Güvenilir veri boru hatları oluşturmak, doğrulama ile başlar. Veri tutarsızlıklarını yakalamak için gelişmiş test tekniklerini keşfedecek, modeller arasında doğrulamayı standartlaştırmak için yeniden kullanılabilir özel testler oluşturacak ve daha iyi yönetişim ve veri soyu izleme için kaynaklara ve tohumlara testler uygulayacaksınız.</p>

<h2>dbt Kaynakları, Tohumları ve Anlık Görüntülerinden Yararlanın</h2>
<p>dbt kaynaklarının, ham verilerin izlenebilirliğini sağlarken dokümantasyonu ve soy ağacını nasıl iyileştirebileceğini keşfedin. Küçük, statik veri kümelerini verimli bir şekilde yönetmek için dbt tohumlarını kullanmayı öğrenin. Ardından, dbt anlık görüntüleri ile yavaşça değişen boyutları (SCD2) öğrenin, böylece veri ambarınızdaki geçmiş değişiklikleri minimum çabayla takip edebilirsiniz.</p>

<h2>dbt Build ile Otomatikleştirin ve Optimize Edin</h2>
<p>Verimlilik, üretim ortamlarında çok önemlidir. dbt build ile iş akışlarını nasıl kolaylaştıracağınızı, model yürütmeyi, testleri ve anlık görüntüleri otomatikleştirerek güvenilir dönüşümler sağlayacağınızı öğreneceksiniz. Pipeline'ınızı optimize ederek, dbt projelerinizin performansını, sürdürülebilirliğini ve ölçeklenebilirliğini artıracaksınız.</p>

<h2>Gerçek Hayat Senaryolarında Becerilerinizi Uygulayın</h2>
<p>Etkileşimli alıştırmalar ve uygulamalı pratikler sayesinde, bilgilerinizi pekiştirecek ve gerçek hayatta dbt'yi uygulamak için gereken özgüveni kazanacaksınız. Kursun sonunda, üretim için hazır dbt iş akışlarını tasarlama, test etme ve otomatikleştirme becerisine sahip olacak ve büyük ölçekte yüksek kaliteli ve iyi belgelenmiş dönüşümler sağlayabileceksiniz.</p>


Introduction to dbt

Bu uygulamalı kursla dbt becerilerinizi geliştirin.

Orta Düzey dbt

Veri mühendisleri ve analitik uzmanları için tasarlanmış bu uygulamalı kurs ile dbt becerilerinizi bir üst seviyeye taşıyın.

dbt Fundamentals

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Test sorgularını doğrulama

Orta Düzey dbt

Uygulamalı etkileşimli egzersiz