Learn about the reasons behind dbt's existence and how it's used to create data transformation projects.

Foundations of dbt

Running the dbt command

Introducing dbt

Version of dbt

Getting help

Users of dbt

Creating a dbt project

Initializing a dbt project

Creating a project profile

Welcome to dbt

Get into the true substance of dbt by working with data models and creating SQL based models within dbt. Learn about basic SQL models, define dependencies, update, and troubleshoot various model issues. 

Working with a first project

dbt project workflow

Running a project

What is a dbt model?

Features of a data model

Creating a dbt model

Updating dbt models

Config files

Updating a dbt model

dbt projects and models

Learn how to use Jinja templates to simplify dbt models and define hierarchical dependencies with the `ref` function to ensure correct model execution.

dbt dokümantasyonu oluşturma ve üretme

dbt docs Komut Seçenekleri

dbt Dokümantasyon Süreci

dbt dokümantasyon akışı

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


dbt dokümantasyonu oluşturma

Jinja şablonları

Jinja neler yapabilir?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Bir Jinja şablonunu işle

dbt'de hiyerarşik modeller

Model oluşturma sırası

Hiyerarşik model oluşturma


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Model hiyerarşilerini güncelleme

More on dbt models

Bu kurs, extract, transform, and load (ELT) veri hatlarının oluşturulması ve bakımı için analitik mühendisliğin doğuşuna öncülük eden popüler bir araç olan dbt'yi (data build tool) tanıtır. Veri ambarları oluşturmayı, veri modelleme ve dönüşümleri yapmayı, veri doğrulaması için testler tasarlamayı öğreneceksin. dbt ile çeşitli görevleri gerçekleştirmek için SQL ve kabuk komutlarını kullanacak, ayrıca ambar kullanıcıların için nasıl dokümantasyon üreteceğini keşfedeceksin!

dbt, yani veri oluşturma aracı, veri dünyasını kasıp kavurdu. Bu kurs, örnek bir veri ambarını uygulamak için dbt'yi kullanmanın kavramlarını, terminolojisini ve yöntemlerini tanıtmaktadır. Dbt'nin ne olduğu, ne zaman kullanılması gerektiği ve veri ambarı uygularken en iyi uygulamalar hakkında bilgi edineceksiniz. Gerçek veri kümeleriyle çalışacak ve veri analisti, veri mühendisliği ve analitik mühendisliği rollerinde uygulanan ayıklama, yükleme ve dönüştürme işlemlerini gerçekleştireceksiniz.

Öğrenciler, veri ambarını sıfırdan tanımlama, verileri modelleme ve dönüştürme ve testler oluşturma becerilerini geliştirecekler! Bu kurs, uygulamayı planladığınız veri ambarı türünden bağımsız olarak, dbt yolculuğunuzda ilerlemeniz için sağlam bir temel sağlayacaktır. SQL ve kabuk komutlarını kullanarak alıştırmalar yaparak dbt'yi nasıl ve ne zaman kullanacağınız konusunda güven kazanın.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Bu kurs, veri modelleme, dönüşümler, testler ve dokümantasyon oluşturma için dbt'yi tanıtır.

dbt'ye Giriş

Bu kurs, veri modelleme, dönüşümler, testler ve dokümantasyon oluşturma için dbt'yi tanıtmaktadır.

dbt Fundamentals

Profesyonel Veri Mühendisi Python'da

Modellere, testlere vb. dokümantasyon ekle

Modelleri oluşturmak için `dbt run` kullan

Dokümantasyon dosyalarını üretmek için `dbt docs generate` kullan

İçeriği barındırma servisine kopyala

Dokümantasyona web tarayıcısı üzerinden eriş

dbt dokümantasyon akışı

dbt'ye Giriş

Uygulamalı interaktif egzersiz