dbt'nin neden var olduğunu ve veri dönüşüm projelerinin nasıl oluşturulmasında kullanıldığını öğren.

dbt'nin Temelleri

dbt komutunu çalıştırma

dbt'ye giriş

dbt sürümü

Yardım alma

dbt kullanıcıları

Bir dbt projesi oluşturma

Bir dbt projesini başlatma

Bir proje profili oluşturma

dbt'ye hoş geldin

dbt'nin özüne inerek veri modelleriyle çalış ve dbt içinde SQL tabanlı modeller oluştur. Temel SQL modellerini öğren, bağımlılıkları tanımla, modelleri güncelle ve çeşitli model sorunlarını gider. 

İlk bir projeyle çalışmak

Bir dbt iş akışının adımları

dbt proje iş akışı

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Bir projeyi çalıştırma

dbt modeli nedir?

Seçenekler

Bir veri modeli için doğru

Bir veri modeli için yanlış

Bir veri modelinin özellikleri


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Bir dbt modeli oluşturma

dbt modellerini güncelleme

Proje

Yalnızca model

Yapılandırma dosyaları


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Bir dbt modelini güncelleme

dbt projeleri ve modelleri

dbt modellerini basitleştirmek için Jinja şablonlarını nasıl kullanacağını ve doğru model çalıştırmasını sağlamak için `ref` işleviyle hiyerarşik bağımlılıkları nasıl tanımlayacağını öğren.

dbt dokümantasyonu oluşturma ve üretme

dbt docs Komut Seçenekleri

dbt dokümantasyon akışı

dbt dokümantasyonu oluşturma

Jinja şablonları

Jinja neler yapabilir?

Bir Jinja şablonunu işle

dbt'de hiyerarşik modeller

Hiyerarşik model oluşturma

Model hiyerarşilerini güncelleme

dbt modelleri hakkında daha fazlası

Bu kurs, extract, transform, and load (ELT) veri hatlarının oluşturulması ve bakımı için analitik mühendisliğin doğuşuna öncülük eden popüler bir araç olan dbt'yi (data build tool) tanıtır. Veri ambarları oluşturmayı, veri modelleme ve dönüşümleri yapmayı, veri doğrulaması için testler tasarlamayı öğreneceksin. dbt ile çeşitli görevleri gerçekleştirmek için SQL ve kabuk komutlarını kullanacak, ayrıca ambar kullanıcıların için nasıl dokümantasyon üreteceğini keşfedeceksin!

dbt, yani veri oluşturma aracı, veri dünyasını kasıp kavurdu. Bu kurs, örnek bir veri ambarını uygulamak için dbt'yi kullanmanın kavramlarını, terminolojisini ve yöntemlerini tanıtmaktadır. Dbt'nin ne olduğu, ne zaman kullanılması gerektiği ve veri ambarı uygularken en iyi uygulamalar hakkında bilgi edineceksiniz. Gerçek veri kümeleriyle çalışacak ve veri analisti, veri mühendisliği ve analitik mühendisliği rollerinde uygulanan ayıklama, yükleme ve dönüştürme işlemlerini gerçekleştireceksiniz.

Öğrenciler, veri ambarını sıfırdan tanımlama, verileri modelleme ve dönüştürme ve testler oluşturma becerilerini geliştirecekler! Bu kurs, uygulamayı planladığınız veri ambarı türünden bağımsız olarak, dbt yolculuğunuzda ilerlemeniz için sağlam bir temel sağlayacaktır. SQL ve kabuk komutlarını kullanarak alıştırmalar yaparak dbt'yi nasıl ve ne zaman kullanacağınız konusunda güven kazanın.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Bu kurs, veri modelleme, dönüşümler, testler ve dokümantasyon oluşturma için dbt'yi tanıtır.

dbt'ye Giriş

Bu kurs, veri modelleme, dönüşümler, testler ve dokümantasyon oluşturma için dbt'yi tanıtmaktadır.

dbt Fundamentals

Profesyonel Veri Mühendisi Python'da

`profiles.yml` dosyasında veri hedeflerini oluştur

dbt proje iş akışı

dbt'ye Giriş

Uygulamalı etkileşimli egzersiz