dbt’de gelişmiş test teknikleriyle veri kalitesini nasıl güvence altına alacağını öğren. Modelleri, sources ve seeds öğelerini doğrulamak için yerleşik, tekil ve yeniden kullanılabilir testleri keşfet. Jinja kullanarak özel testleri nasıl tanımlayacağını, hataları nasıl gidereceğini ve aşağı akış analizini etkilemeden önce tutarsızlıkları yakalamak için doğrulama iş akışını nasıl optimize edeceğini anla.

dbt'de test etmeye giriş

Yerleşik testler

Bir modelde testleri tanımlama

Hatalı verileri bulma

Tekil testler oluşturma

Tekil bir test geliştirme adımları

Yolculuk süresini doğrulama

Test sorgularını doğrulama

Özel, yeniden kullanılabilir testler oluşturma

Test, test, test

Yeniden kullanılabilir bir test uygulama

Tekilden yeniden kullanılabilir teste güncelleme

Test Etme ve Dokümantasyon

Ölçeklenebilir, üretime hazır iş akışlarını hayata geçirerek dbt becerilerini bir üst seviyeye taşı. Veri soyutunu (lineage) iyileştirmek için dbt sources ve seeds kullanmayı, tarihsel değişiklikleri izlemek için snapshots uygulamayı ve dönüşümlerini dbt build ile otomatikleştirmeyi öğren. Kursun sonunda, büyük ölçekli veri işlem hatlarını güvenle yönetebilecek donanıma sahip olacaksın.

dbt sources

Seçenekler

Yalnızca dbt modelleri

Modeller ve kaynaklara ortak

Yalnızca dbt kaynakları

Modeller, kaynaklar ya da ikisi birden?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Bir kaynak ekleme

dbt seeds

Gerçeklik payı

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP kodu iş başında

dbt snapshots ile SCD2 (eski)

Snapshot oluşturma süreci

Snapshot süreci

Snapshot sorunu

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Bir snapshot ekleme

dbt build ile otomasyon

dbt build bu adımı çalıştırır

dbt build bunu çalıştırmaz

dbt build neyi yapamaz?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Staja yardım et!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Hepsini bir araya getirme

dbt’yi üretimde uygulamak

Veri mühendisleri ve analitik profesyoneller için tasarlanmış bu uygulamalı kursla dbt becerilerini bir üst seviyeye taşı. Özel test stratejileri, yeniden kullanılabilir testler, sources, seeds ve geçmiş veri değişimlerini izlemek için snapshots gibi gelişmiş dbt özelliklerini keşfedeceksin. Üretim ortamlarında güvenilir ve verimli dönüşümler sağlamak için dbt build ile dbt işlem hatlarını nasıl otomatikleştireceğini öğren. Etkileşimli egzersizler ve gerçek dünya senaryolarıyla, dbt’yi büyük ölçekli veri iş akışlarında uygulama konusunda özgüven kazanacaksın.

<h2>Dbt İş Akışlarını Ustaca Kullanma</h2>
<p>DBT becerilerinizi bir üst seviyeye taşıyın ve üretim ortamında sağlam, ölçeklenebilir veri dönüştürme iş akışlarını nasıl uygulayacağınızı öğrenin. Bu kurs, temel bilgilerin ötesine geçmek ve gelişmiş dbt işlevselliği konusunda pratik deneyim kazanmak isteyen veri mühendisleri, analistler ve analitik mühendisleri için tasarlanmıştır.</p>

<h2>Gelişmiş Testlerle Veri Kalitesini Sağlayın</h2>
<p>Güvenilir veri boru hatları oluşturmak, doğrulama ile başlar. Veri tutarsızlıklarını yakalamak için gelişmiş test tekniklerini keşfedecek, modeller arasında doğrulamayı standartlaştırmak için yeniden kullanılabilir özel testler oluşturacak ve daha iyi yönetişim ve veri soyu izleme için kaynaklara ve tohumlara testler uygulayacaksınız.</p>

<h2>dbt Kaynakları, Tohumları ve Anlık Görüntülerinden Yararlanın</h2>
<p>dbt kaynaklarının, ham verilerin izlenebilirliğini sağlarken dokümantasyonu ve soy ağacını nasıl iyileştirebileceğini keşfedin. Küçük, statik veri kümelerini verimli bir şekilde yönetmek için dbt tohumlarını kullanmayı öğrenin. Ardından, dbt anlık görüntüleri ile yavaşça değişen boyutları (SCD2) öğrenin, böylece veri ambarınızdaki geçmiş değişiklikleri minimum çabayla takip edebilirsiniz.</p>

<h2>dbt Build ile Otomatikleştirin ve Optimize Edin</h2>
<p>Verimlilik, üretim ortamlarında çok önemlidir. dbt build ile iş akışlarını nasıl kolaylaştıracağınızı, model yürütmeyi, testleri ve anlık görüntüleri otomatikleştirerek güvenilir dönüşümler sağlayacağınızı öğreneceksiniz. Pipeline'ınızı optimize ederek, dbt projelerinizin performansını, sürdürülebilirliğini ve ölçeklenebilirliğini artıracaksınız.</p>

<h2>Gerçek Hayat Senaryolarında Becerilerinizi Uygulayın</h2>
<p>Etkileşimli alıştırmalar ve uygulamalı pratikler sayesinde, bilgilerinizi pekiştirecek ve gerçek hayatta dbt'yi uygulamak için gereken özgüveni kazanacaksınız. Kursun sonunda, üretim için hazır dbt iş akışlarını tasarlama, test etme ve otomatikleştirme becerisine sahip olacak ve büyük ölçekte yüksek kaliteli ve iyi belgelenmiş dönüşümler sağlayabileceksiniz.</p>


Introduction to dbt

Bu uygulamalı kursla dbt becerilerinizi geliştirin.

Orta Düzey dbt

Veri mühendisleri ve analitik uzmanları için tasarlanmış bu uygulamalı kurs ile dbt becerilerinizi bir üst seviyeye taşıyın.

Staja yardım et!

Orta Düzey dbt

Uygulamalı etkileşimli egzersiz